ScribbleEdit: Synthetic Data for Image Editing with Scribbles and Text
Dit artikel introduceert ScribbleEdit, een synthetische dataset op grote schaal die natuurlijke taal-instructies combineert met vrije handtekeningen om multimodale beeldbewerkingsmodellen te trainen en te verbeteren, waardoor deze in staat worden gesteld nauwkeurige ruimtelijke en semantische controle te bereiken die bestaande kant-en-klare modellen moeite hebben om te bereiken.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je instructies geeft aan een zeer getalenteerde, maar lichtelijk verwarde kunstenaar. Je wilt een foto aanpassen, maar je hebt twee manieren om met hen te communiceren:
- De tekstuele manier: Je zegt: "Zet een rode appel in het midden." De kunstenaar begrijpt "rode appel" perfect, maar hij of zij kan hem links, rechts of enorm groot plaatsen. Ze missen je specifieke visie over waar hij moet komen.
- De krabbel-methode: Je pakt een pen en tekent een rommelige, trillende cirkel op de foto op de plek waar je de appel wilt hebben. De kunstenaar weet precies waar hij moet komen, maar heeft geen idee of hij rood, groen, glanzend of viltig moet zijn.
Het probleem: Huidige AI-foto-editors zijn uitstekend in het een of het ander, maar ze worstelen wanneer je probeert beide tegelijk te gebruiken. Ze raken in de war door de rommelige krabbel in combinatie met de tekst, voornamelijk omdat ze niet genoeg voorbeelden van deze specifieke combinatie hebben getraind.
De oplossing: ScribbleEdit
De auteurs van dit artikel hebben een enorme "trainingsgym" voor AI gebouwd genaamd ScribbleEdit. Denk hierbij aan een gigantische bibliotheek met oefeningen waar de AI leert om tegelijkertijd te luisteren naar zowel de tekst als de krabbel.
Zo hebben ze deze bibliotheek opgebouwd:
- De opzet: Ze namen duizenden foto's van objecten (zoals appels, katten of auto's).
- De gum: Ze gebruikten een slimme "gum"-tool om het object te verwijderen, waardoor een lege plek in de achtergrond overbleef.
- De gids: Ze namen de originele foto en koppelden deze aan een rommelige, met de hand getekende krabbel (zoals een kindertekening) die ruwweg de omtrek gaf van waar het object zou moeten komen.
- Het script: Ze gebruikten een andere AI om een zin te schrijven die het object beschreef (bijvoorbeeld: "Plaats hier een glanzende rode appel").
- Het resultaat: Ze creëerden meer dan 11.000 voorbeelden waarbij de AI naar de lege plek, de rommelige krabbel en de zin moest kijken, en vervolgens het object precies terug moest "schilderen" op de plek waar de krabbel naartoe wees, en er precies zo uit moest zien als de tekst beschreef.
Het experiment
De onderzoekers namen twee verschillende soorten AI-kunstenaars en onderwierpen ze aan een test:
- De "van de plank"-kunstenaar: Dit zijn vooringestelde modellen die ScribbleEdit nooit hebben gezien.
- De "getrainde" kunstenaar: Dit zijn dezelfde modellen, maar nadat ze de ScribbleEdit-bibliotheek hebben bestudeerd.
De resultaten
- Voor de training: De ongetrainde modellen waren vreselijk hierin. Als ze een krabbel kregen, negeerden ze deze vaak, tekenden ze rare vormen die leken op krabbels, of slaagden ze er gewoon niet in om de foto aan te passen. Ze begrepen de "taal" van een rommelige lijn niet.
- Na de training: Zodra de modellen de ScribbleEdit-dataset hadden bestudeerd, werden ze veel beter. Ze leerden:
- Het object precies neer te zetten waar de krabbel aangaf (ruimtelijke nauwkeurigheid).
- Het object eruit te laten zien zoals de tekst beschreef (semantische nauwkeurigheid).
- De rest van de foto natuurlijk te houden.
De conclusie
Het artikel toont aan dat hoewel AI steeds beter wordt in het bewerken van foto's, het nog steeds moeite heeft om onze rommelige, menselijke manier van tekenen te begrijpen. Door een synthetische dataset te creëren die AI leert hoe het "ruwe tekeningen" moet combineren met "duidelijke instructies", bewezen de onderzoekers dat AI kan leren een veel nauwkeurigere en gehoorzamere editor te zijn.
Wat ze niet deden (belangrijke beperkingen)
Het artikel is zeer specifiek over wat ze niet deden:
- Ze bedachten geen nieuwe manier van tekenen; ze gebruikten bestaande menselijke tekeningen uit een database genaamd "Sketchy".
- Ze testten alleen het "terugplaatsen van een object" (object toevoegen). Ze testten geen complexe zaken zoals het veranderen van een gezicht of het bewerken van slechts een klein deel van een overhemd.
- Ze beweerden niet dat dit werkt voor medische beeldvorming of andere gespecialiseerde gebieden; het gaat strikt om algemene fotobewerking.
Kortom, ScribbleEdit is een nieuwe trainingshandleiding die AI leert om tegelijkertijd te luisteren naar onze rommelige krabbels en duidelijke woorden, waardoor fotobewerking meer voelt als praten met een behulpzame menselijke assistent en minder als het raden van een raadsel.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.