Poly-OPD: Heterogeneous Multi-Teacher On-Policy Distillation for Capability-Selectable Flow Models
Poly-OPD ist ein heterogenes Multi-Teacher-On-Policy-Destillationsframework, das komplementäre Stärken inkompatibler Text-zu-Bild-Modelle in einem einzigen kompakten Flow-Matching-Studenten konsolidiert, indem es latente Räume mittels pixelbasierter Re-Kodierung und DINOv2-Supervision überbrückt, während es gradientenkompatible Adapter und ein lückenbewusstes Curriculum einsetzt, um eine überlegene Leistung sowohl bei der kompositorischen Befolgung von Instruktionen als auch bei der ästhetischen Ausrichtung zu erzielen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der Kunst von Maschinen erschaffen wird, die durch Raten und Korrigieren lernen, ein Feld, das als Text-zu-Bild-Generierung bekannt ist. In diesem digitalen Kunststudio sind die „Lehrer“ massive, komplexe Modelle, die Wörter in Bilder verwandeln. Aber hier ist der Haken: Genau wie menschliche Experten haben auch diese Maschinen unterschiedliche Spezialgebiete. Einige sind Meistermaler, die atemberaubend schöne, realistische Szenen erschaffen, aber dabei kleine Details wie „drei Katzen“ oder „einen roten Ball auf der linken Seite“ übersehen könnten. Andere sind strenge Buchhalter, die Anweisungen perfekt befolgen, aber Bilder erzeugen könnten, die etwas flach oder seltsam aussehen. Das große Problem ist, dass diese Experten unterschiedliche „Sprachen“ intern sprechen; sie nutzen verschiedene Blaupausen und mathematische Ansätze, um ihre Bilder zu bauen, sodass man sie nicht einfach bitten kann, Notizen auszutauschen oder ihre Gehirne zu kombinieren. Wenn man ein Bild möchte, das sowohl wunderschön als auch perfekt präzise ist, muss man normalerweise zwei riesige, teure Computer gleichzeitig laufen lassen, was langsam und verschwenderisch ist. Wissenschaftler versuchen seit langem herauszufinden, wie man diese verschiedenen Experten in ein einziges, kleineres, klügeres Modell verschmilzt, das beide Aufgaben erledigen kann, ohne verwirrt zu werden.
Dieses Paper stellt eine clevere neue Methode namens Poly-OPD vor, die wie ein Meisterübersetzer und Coach fungiert und es erfolgreich schafft, zwei sehr unterschiedliche KI-Lehrer in ein einziges, kompaktes Schüler-Modell zu verschmelzen. Die Forscher nahmen einen „schönen“ Lehrer (FLUX.1-dev) und einen „präzisen“ Lehrer (Z-Image) und brachten einem kleineren Schüler-Modell (einer 2,5 Milliarden Parameter umfassenden Version von SD3.5) bei, beides zu sein. Der Zaubertrick besteht darin, dass das System, anstatt den Schüler zu zwingen, die internen Gedanken der Lehrer zu kopieren (die in inkompatiblen Sprachen vorliegen), den Schüler ein Bild zeichnen lässt, dieses Bild in eine gemeinsame „Pixel“-Sprache umwandelt, die jeder versteht, und dann den Lehrer bittet, es zu korrigieren. Der Lehrer sagt nicht nur „gut gemacht“, sondern zeichnet das Bild tatsächlich um, um Fehler zu korrigieren, und der Schüler lernt aus dieser Korrektur. Um sicherzustellen, dass der Schüler nicht verwirrt wird, indem er versucht, zwei verschiedene Stile gleichzeitig zu lernen, nutzt das System spezielle „umschaltbare“ Teile in seinem Gehirn. Es teilt die Teile, die die allgemeine Aufmerksamkeit steuern (wie das Betrachten der gesamten Szene), aber behält separate Teile für spezifische Aufgaben (wie Zählen oder Färben) bei. Darüber hinaus ist das System intelligent bei dem, was es übt: Es bemerkt, in welchen Fähigkeiten der Schüler noch schlecht ist, und verbringt mehr Zeit mit dem Training dieser Bereiche, anstatt Zeit mit Dingen zu verschwenden, die der Schüler bereits beherrscht.
Die Ergebnisse sind äußerst beeindruckend. Durch den Einsatz dieser Methode lernte das kleine Schüler-Modell nicht nur, durchschnittlich zu sein; es wurde in spezifischen Aufgaben sogar besser als beide seiner riesigen Lehrer. In einem Test namens GenEval, der prüft, ob ein Modell komplexen Anweisungen wie „eine Katze rechts von einem Tennisschläger“ folgt, sprang die Punktzahl des Schülers von 67,3 auf 73,3 und schlug damit sowohl den 12-Milliarden-Parameter-Lehrer als auch den 6-Milliarden-Parameter-Lehrer. Bei einem Test für visuelle Schönheit und menschliche Präferenz (HPSv3) stieg der Wert von 9,34 auf 11,35. Das Paper legt nahe, dass dieser Erfolg auf dem „On-Policy“-Ansatz beruht, bei dem der Schüler aus seinen eigenen Fehlern lernt, die vom Lehrer korrigiert wurden, anstatt nur die perfekten Zeichnungen des Lehrers auswendig zu lernen. Die Forscher fanden heraus, dass es fehlschlug, wenn sie versuchten, den Schüler direkt von den internen Daten des Lehrers lernen zu lassen, weil die „Sprachen“ nicht übereinstimmten. Sie entdeckten auch, dass es zu Kompetenzkonflikten gekommen wäre, wenn sie die speziellen umschaltbaren Teile nicht verwendet hätten, wodurch das Modell schlechter geworden wäre. Letztendlich zeigt Poly-OPD, dass man ein einzelnes, kleines, umschaltbares Modell bauen kann, das zwischen einem wunderschönen Künstler und einem präzisen Architekten hin- und herschalten kann und so das Beste aus beiden Welten kombiniert, ohne zwei massive Computer betreiben zu müssen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.