InsertFuse: A Unified Framework for Multi-Category Reference-Guided Image Insertion
InsertFuse ist ein einheitlicher Rahmen für die mehrkategorielle, referenzgestützte Bildinsertion, der durch die Entkopplung des kategoriespezifischen Expertentrainings von der Konsolidierung mittels Insertion On-Policy Distillation sowie die Verbesserung der räumlichen Kontrolle und Referenztreue durch Token-Aligned Geometry Conditioning, Region-Balanced Flow Matching und Reference CFG eine State-of-the-Art-Leistung erreicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie wären ein Meisterkoch, der alles zubereiten kann, von einem zarten Soufflé bis hin zu einem herzhaften Eintopf. Stellen Sie sich nun vor, jemand bittet Sie, ein einziges Gericht zu kochen, das gleichzeitig ein perfektes Soufflé und ein perfekter Eintopf ist, wobei Sie denselben Topf und dieselbe Anleitung verwenden. Sie könnten es versuchen, aber das Ergebnis wäre wahrscheinlich ein matschiges Durcheinander: Die Hitze, die für den Eintopf benötigt wird, würde den zarten Aufstieg des Soufflés ruinieren, und die Aromen würden kollidieren. Dies ist die Art von Problem, mit denen Informatiker konfrontiert sind, wenn sie Künstliche Intelligenz (KI) das Bearbeiten von Fotos beibringen.
In der Welt der KI sind „Diffusionsmodelle“ wie diese Meisterköche. Es sind unglaublich intelligente Systeme, die Bilder erstellen oder verändern können, indem sie zufälliges Rauschen (wie das Schneegestöber im Fernsehen) Schritt für Schritt in ein klares Bild verwandeln. In letzter Zeit sind diese Modelle so gut geworden, dass wir sie bitten können, „eine Katze auf diesen Stuhl zu setzen“ oder „den Himmel in einen Sonnenuntergang zu verwandeln“. Aber es gibt einen Haken: Verschiedene Arten von Bearbeitungen erfordern sehr unterschiedliche Fähigkeiten. Das Platzieren eines winzigen Rings auf einem Finger erfordert feine, präzise Genauigkeit. Das Einfügen einer ganzen Person in eine Szene erfordert das Verständnis dafür, wie sich ihr Körper biegt und wie ihre Kleidung aussieht. Zu versuchen, einem einzigen KI-Modell beizubringen, gleichzeitig ein Experte für all diese verschiedenen Aufgaben zu sein, ist so, als würde man diesen Koch bitten, das Soufflé und den Eintopf gleichzeitig zu kochen; die KI wird verwirrt, und die Ergebnisse sehen oft seltsam oder verschwommen aus.
Hier kommt ein neues Paper namens InsertFuse ins Spiel. Die Forscher, angeführt von einem Team der Shanghai Jiao Tong University und anderen, erkannten, dass die alte Art, diese KI-Köche zu trainieren, das Problem war. Anstatt zu versuchen, einem Modell alles gleichzeitig beizubringen, bauten sie ein cleveres zweistufiges System. Zuerst trainierten sie fünf verschiedene „Experten“-Köche, von denen jeder auf nur eine Art von Zutat spezialisiert war: einer für Accessoires (wie Schmuck), einer für Tiere, einer für Kleidung, einer für allgemeine Objekte und einer für Menschen. Jeder Experte wurde ein Meister seines spezifischen Fachgebiets und lernte genau, wie er mit den einzigartigen Eigenheiten seiner Kategorie umgeht, ohne von den anderen abgelenkt zu werden.
Aber es ist mühsam, fünf verschiedene Köche zu haben, wenn man eigentlich nur eine App möchte, die alles erledigt. Deshalb erfand das Team eine spezielle Trainingstechnik namens Insertion On-Policy Distillation (IOPD). Denken Sie an einen „Schüler“-Koch, der den fünf Experten bei der Arbeit zusieht. Der Schüler lernt nicht nur die Rezepte auswendig; er übt selbst, das Gericht zuzubereiten, und wann immer er stecken bleibt, fragt er den richtigen Experten nach dem exakten nächsten Schritt. Wenn der Schüler versucht, einen Hut auf einen Kopf zu setzen, fragt er den „Accessoire-Experten“. Wenn er versucht, eine Person in einen Raum zu setzen, fragt er den „Menschen-Experten“. Durch das Lernen vom richtigen Experten im richtigen Moment wird der Schüler zu einem vereinten Meisterkoch, der jede Einfügung-Aufgabe perfekt bewältigen kann, ohne die Verwirrung, die entsteht, wenn man versucht, alles gleichzeitig zu lernen.
Um sicherzustellen, dass der Schüler-Koch nicht einfach nur rät, wo er Dinge platzieren soll, fügte das Team zwei spezielle Werkzeuge hinzu. Das erste ist Token-Aligned Geometry Conditioning, was so ist, als würde man der KI eine präzise GPS-Karte geben, die genau angibt, wo das neue Objekt platziert werden soll, um sicherzustellen, dass es perfekt in die Form der Lücke passt, ohne in den Hintergrund überzufließen. Das zweite ist Region-Balanced Flow Matching, das wie ein fairer Richter fungiert. Im normalen Training könnte die KI ein winziges Objekt (wie ein Armband) ignorieren, weil der riesige Hintergrund (wie eine Wand) den Großteil des Bildschirms einnimmt. Dieses neue Werkzeug sagt der KI: „Hey, auch wenn das Armband klein ist, ist es super wichtig, also schenke ihm besondere Aufmerksamkeit“, um sicherzustellen, dass winzige Details nicht verloren gehen.
Um schließlich sicherzustellen, dass das eingefügte Objekt exakt wie das Referenzfoto aussieht (seine einzigartige Textur und Identität beibehält), verwendeten sie eine Technik namens Reference CFG. Dies ist wie eine strikte Regel für den Schüler-Koch: „Du musst das ursprüngliche Muster auf diesem Hemd beibehalten, egal wie sehr du es dehnst.“
Die Ergebnisse sind beeindruckend. Als die Forscher ihr neues „Schüler“-Modell gegen andere Top-KI-Editoren testeten, gewannen sie in fast jeder Kategorie. Es bewahrte das Aussehen der Originalobjekte besser, platzierte sie genauer und hielt den Hintergrund natürlicher. In einer Nutzerstudie, bei der Menschen ihre Lieblingsbilder wählten, wurde InsertFuse von über 50 % der Teilnehmer gewählt und schlug damit den Wettbewerb bei weitem. Das Paper legt nahe, dass wir durch die Trennung des Lernens spezifischer Fähigkeiten vom Prozess der Kombination dieser Fähigkeiten eine KI bauen können, die sowohl Spezialistin als auch Generalistin ist und das „soggy stew“-Problem der Bildbearbeitung ein für alle Mal löst.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.