🤖 machine learning

From Global to Factor-Wise Expert Composition in Discrete Diffusion Models

Dieses Paper stellt FactorDiff vor, ein neuartiges Framework für diskrete Diffusionsmodelle, das die kompositorische Generierung verbessert, indem es individuelle Stichprobenfaktoren dynamisch an spezialisierte Experten weiterleitet, anstatt globale Mischgewichte anzuwenden, und dadurch eine überlegene Leistung bei räumlich komplexen Aufgaben wie ARC-AGI erzielt.

Ursprüngliche Autoren: Haozhe Huang, Yudong Xu, Abhijoy Mandal, Alán Aspuru-Guzik

Veröffentlicht 2026-07-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Haozhe Huang, Yudong Xu, Abhijoy Mandal, Alán Aspuru-Guzik

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein riesiges, kniffliges Rätsel zu lösen, wie die im ARC-AGI-Benchmark, bei dem Sie die verborgenen Regeln eines Gitters aus farbigen Quadraten herausfinden müssen. Um dies zu tun, haben Sie ein Team von „Experten“-KI-Modellen eingestellt. Aber hier ist der Haken: Einige Experten sind großartig darin, die Formen zu zeichnen (die „Occupancy“-Experten), während andere hervorragend darin sind, die richtigen Farben auszuwählen (die „Color“-Experten), aber keiner von beiden ist perfekt darin, beides gleichzeitig zu beherrschen.

Lange Zeit war die Standardmethode, diese Experten zu kombinieren, wie eine Teamabstimmung. Jeder einzelne Experte würde seine Meinung für das gesamte Rätsel auf einmal herausrufen, und das Team würde einen einzigen „Wert“ wählen, um zu entscheiden, wessen Stimme für das gesamte Bild am lautesten war. Das Papier nennt dies „pro-Sample-Komposition“.

Das Problem mit der Teamabstimmung
Die Autoren argumentieren, dass dieser „eine Stimme für den ganzen Raum“-Ansatz fehlerhaft ist. Stellen Sie sich vor, ein Experte ist ein Meister darin, Grenzen zu zeichnen, aber schlecht darin, die Mitte auszufüllen, während ein anderer ein Farb-Zauberer ist, aber die Formen falsch setzt. Wenn man dem Grenz-Experten eine einzige „Stimme“ für das gesamte Rätsel gibt, ziehen seine schlechten Vermutungen über die Farben in der Mitte das gesamte Team nach unten. Es ist, als würde man einen Meisterkoch bitten, auch die Rohre in der Küche zu reparieren, nur weil er der beste Koch ist; wenn er versucht, das Rohr zu flicken, vermasselt er die Suppe.

Die neue Idee: FactorDiff (Der „Spezialisten-Schalter“)
Das Papier führt eine neue Methode namens FactorDiff ein. Anstatt über das gesamte Rätsel auf einmal abzustimmen, agiert FactorDiff wie ein kluger Manager, der sich jedes einzelne Quadrat (oder jeden Pixel) auf dem Gitter individuell ansieht.

Stellen Sie sich das wie eine Baucrew vor, die ein Haus baut:

Wenn die Crew das Fundament legen und die Wände bauen muss, hört sie nur auf den Struktur-Experten.
Wenn sie die Wände streichen und die Vorhänge aussuchen muss, wechselt sie zu und hört nur auf den Farb-Experten.

Das Papier zeigt, dass FactorDiff durch das dynamische Routing jedes winzigen Teils des Puzzles an den Experten, der für genau diesen Teil am selbstbewusstesten ist, ein viel besseres Ergebnis erzielt. Sie nennen dies „Per-Pixel-Routing“.

Was die Zahlen sagen
Die Autoren haben FactorDiff auf 120 verschiedenen Aufgaben aus dem ARC-AGI-Datensatz getestet. Hier ist, was sie herausgefunden haben:

Wenn Experten Spezialisten sind: Wenn man einen „Color“-Experten (der das vollständige Rätsel nur 3,3 % der Zeit richtig löst) und einen „Occupancy“-Experten (der es nur 0,2 % der Zeit richtig löst) nimmt, hatten die alten „Teamabstimmungs“-Methoden Schwierigkeiten und bekamen das vollständige Rätsel im besten Fall nur etwa 78,4 % der Zeit richtig. Aber mit dem „Spezialisten-Schalter“ von FactorDiff bekam das Team es 90,5 % der Zeit richtig. Das ist ein riesiger Sprung!
Wenn Experten Generalisten sind: Selbst wenn beide Experten in allem sehr gut sind (mit 93,0 % und 89,3 % Erfolgsquote), hat FactorDiff die Ergebnisse nicht verschlechtert. Es erreichte die besten Ergebnisse mit 95,2 % korrekt gelösten Aufgaben, was beweist, dass diese Methode auch sicher anzuwenden ist, wenn man den Expertenwechsel gar nicht zwingend benötigt.

Was das Papier ausschließt
Das Papier argumentiert explizit gegen die Idee, dass ein einziger, globaler „Gewichtungsfaktor“ oder eine „Stimme“ für einen Experten ausreicht. Sie zeigen, dass der Versuch, die „Teamabstimmungs“-Methode mit komplexer Mathematik (wie den im Papier erwähnten „Feynman-Kac-Korrektoren“ oder „SuperDiff“) zu korrigieren, immer noch daran scheitert, die Nuance zu erfassen, dass man für verschiedene Teile des Bildes unterschiedliche Experten benötigt. Man kann nicht einfach nur die Lautstärke der Experten ändern; man muss ändern, wer für wo spricht.

Wie sicher sind sie sich?
Die Autoren sind sehr zuversichtlich bei diesen Ergebnissen, weil sie tatsächliche Experimente durchgeführt haben. Sie trainierten Modelle auf 120.000 Beispielpaaren und testeten sie auf einem gehaltenen Datensatz von 200 Beispielen pro Aufgabe. Die Ergebnisse wurden direkt gemessen: FactorDiff übertraf die alten Methoden konsistent, insbesondere wenn die Experten unterschiedliche Stärken hatten.

Dennoch gibt das Papier auch zu, dass es eine Sache noch nicht vollständig gelöst hat: Ihr „Manager“ (das Routing-System) entscheidet derzeit, wem man zuhören sollte, basierend darauf, wie selbstbewusst ein Experte wirkt. Die Autoren schlagen vor, dass dies zwar für die von ihnen durchgeführten Tests gut funktioniert, aber vielleicht nicht für jedes mögliche Paar von Experten im Universum funktionieren wird. Sie schlagen vor, dass wir in Zukunft vielleicht einen besseren Weg lernen müssen, um zu entscheiden, wem wir zuhören sollten, anstatt es nur basierend auf dem Selbstvertrauen zu raten.

Kurz gesagt: Das Papier legt nahe, dass wir bei komplexen Denkaufgaben KI-Experten nicht als monolithischen Block betrachten sollten. Stattdessen sollten wir sie wie ein Team von Spezialisten behandeln und denjenigen die spezifische Aufgabe übernehmen lassen, für die er der Beste ist – Stück für Stück, Teil für Teil.

Technisches Resümee: Von der globalen zur faktorweisen Experten-Komposition in diskreten Diffusionsmodellen

Problemstellung

Diskrete Diffusionsmodelle haben sich als ein leistungsfähiges Framework für komplexe Denkaufgaben erwiesen, insbesondere durch kompositionale Generierung, welche mehrere vortrainierte „Expertenmodelle“ kombiniert, um über deren individuelle Trainingsverteilungen hinaus zu generalisieren. Jüngste theoretische Fortschritte (z. B. SuperDiff, RNE, Feynman-Kac-Korrektoren) haben die kompositionale Stichprobenziehung verbessert, indem sie zeitabhängige Mischgewichte einführen, um die kompositorische Dynamik mit den Zielverteilungen in Einklang zu bringen.

Diese modernsten Methoden teilen jedoch eine grundlegende Einschränkung: Sie operieren auf einer pro-Stichprobe-Basis und weisen jedem Experten zu jedem Zeitschritt ein einzelnes globales Skalargewicht zu. Diese „monolithische“ Annahme setzt implizit voraus, dass jeder Experte über den gesamten Zustandsraum hinweg gleichermaßen kompetent ist. In komplexen generativen Aufgaben – wie etwa dem räumlichen Denken, bei dem ein Experte beispielsweise auf Grenzen spezialisiert ist, während ein anderer Texturen handhabt – erzwingt diese globale Gewichtung einen Kompromiss. Sie verwässert das Signal des korrekten Experten in seinem spezifischen Kompetenzbereich und scheitert daran, die räumliche und funktionale Unabhängigkeit verschiedener Experten zu erfassen.

Methodik: FactorDiff

Die Autoren schlagen FactorDiff vor, ein faktorweises Kompositionsframework, das den Generierungsprozess von der Stichproben-Ebene hinunter zur Faktorebene (z. B. räumliche Pixel oder Gitterzellen) zerlegt. Anstatt ein einzelnes Gewicht auf einen gesamten Zustand anzuwenden, routet FactorDiff jeden Faktor dynamisch zum relevantesten Experten.

Kernkomponenten

Faktorweises Routing: Der Zustandsraum wird in benutzerdefinierte Faktoren zerlegt. Während des Sampling-Prozesses weist eine Routing-Map jeden Faktor (z. B. einen Pixel in einem Gitter) einem spezifischen Experten zu. Dies ermöglicht heterogene Expertenbeiträge innerhalb eines einzigen generierten Zustands.
Konfidenzbasierte Selektion: Das Framework instanziiert das Routing durch die dynamische Auswahl des Experten mit der höchsten Konfidenz an jeder Position während der Inferenz. Die Routing-Variable $z_v$ für eine Variable $v$ wird bestimmt durch:
$z_v = \arg\max_{k} C(p_k(x_v | x_t))$
wobei $C$ eine Konfidenzmetrik ist (die Differenz zwischen den beiden wahrscheinlichsten Vorhersagen). Der kompositorische Reverse-Schritt wählt dann die Vorhersage des gewählten Experten für diese spezifische Position aus.
Native 2D-Maskierte Diffusionsarchitektur: Um dies zu unterstützen, führen die Autoren eine 2D-maskierte Diffusionsarchitektur ein, die die Gittertopologie bewahrt. Im Gegensatz zu früheren Arbeiten, die Gitter in 1D-Sequenzen flachdrücken (was zu topologischen Mismatches führt), behandelt dieser Ansatz das Gitter als ein Gittergraph-Lattice.
- Experten: Drei komplementäre Modelltypen werden trainiert: ein Full-Modell (alle Farben), ein Occupancy-Modell (Hintergrund vs. Vordergrund) und ein Color-Modell (nur Vordergrundfarben).
- Backbone: Das Denoising-Netzwerk verwendet eine iterative Verfeinerungsarchitektur (entweder konvolutional oder Transformer-basiert) mit lernbaren 2D-Positions-Embeddings, um die räumliche Lokalität zu gewährleisten.

Theoretische Begründung

Bestehende Methoden definieren eine Zielverteilung oft als gewichtetes Produkt von Experten ( $p(x) \propto \prod p_m(x)^{\alpha_m}$ ). Die Autoren argumentieren, dass ein globaler Exponent $\alpha_m$ für komplementäre Spezialisten falsch spezifiziert ist, da er erzwingt, dass die Vorhersagen eines Experten (selbst fehlerhafte außerhalb seines Bereichs) den gesamten Zustand beeinflussen. FactorDiff ersetzt dies durch ein faktorweises Produkt:
$p_{comp}(x) \propto \prod_{f \in \mathcal{F}} \prod_{m=1}^M (p_m(x_f))^{\alpha_{m,f}}$
Diese Formulierung ermöglicht es, dass die Expertise über die Faktoren hinweg variiert. Im Fall des Hard-Routingings ist $\alpha_{m,f}$ eine One-Hot-Kodierung, die einen einzelnen Experten pro Faktor auswählt, ohne dass zusätzliche Normalisierung oder Korrektur der Wichtigkeit erforderlich ist, da das Produkt valider Konditionals eine valide gemeinsame Transition definiert.

Zentrale Beiträge

FactorDiff-Framework: Eine neuartige Kompositionsmethode, die die Kombination von Experten als Routing über Faktoren darstellt, speziell instanziiert mit positionsbasierter Expertenselektion für gitterstrukturierte Diffusionsmodelle.
2D-Maskierte Diffusionsarchitektur: Eine native Architektur, die die 2D-Gittertopologie beibehält und das Training komplementärer Experten (Occupancy, Color, Full) ermöglicht, deren Vorhersagen zur Inferenzzeit kombiniert werden können.
Empirische Validierung auf ARC-AGI: Eine umfassende Evaluierung auf dem ARC-AGI-Benchmark zeigt, dass einfaches faktorspezifisches Routing konsistent komplexere globale Skalargewichtungsschemata übertrifft, insbesondere bei Aufgaben, die logische Konsistenz und räumliche Entkopplung erfordern.

Experimentelle Ergebnisse

Die Autoren evaluierten FactorDiff auf einer Teilmenge von 120 ARC-AGI-Aufgaben unter Verwendung des RE-ARC-Generators für die In-Distribution (IID) Evaluierung.

Spezialisierungsregime (RQ1): Wenn hochspezialisierte Experten kombiniert werden (z. B. Occupancy + Full, oder Color + Occupancy), übertraf FactorDiff die Pro-Stichprobe-Baselines (SuperDiff, RNE, FKC) signifikant.
- Color + Occupancy: Die einzelnen Spezialisten erreichten bei der vollen Aufgabe nahezu Null (3,3 % bzw. 0,2 % exakte Genauigkeit). FactorDiff kombinierte sie zu einer exakten Genauigkeit von 90,5 %, eine massive Verbesserung gegenüber der besten Pro-Stichprobe-Baseline (78,4 %).
- Occupancy + Full: FactorDiff erreichte 94,0 % exakte Genauigkeit und übertraf damit sowohl den besten Einzel-Experten (93,0 %) als auch alle Pro-Stichprobe-Kompositionsmethoden.
Generalisten-Regime (RQ2): Bei der Kombination zweier starker Generalisten-Modelle (Full + Full) war FactorDiff „sicher“ und erreichte mit 95,2 % die Genauigkeit der besten Pro-Stichprobe-Baseline, ohne die Leistung zu verschlechtern. Dies zeigt, dass räumlich variierende Selektion keine Instabilität verursacht, wenn sich die Experten weitgehend einig sind.
Ablation: Selbst wenn zwei Full-Modelle mit identischen Zielen, aber unterschiedlichen Architekturen (Trans-IR vs. Conv-IR) kombiniert wurden, erreichte FactorDiff eine höhere Genauigkeit (94,8 %) als jedes der beiden Einzelmodelle, indem es korrekte Regionen aus beiden erfolgreich zusammenfügte.

Bedeutung und Ansprüche

Das Paper behauptet, dass FactorDiff einen einfachen und effektiven Mechanismus bietet, um beliebige Spezialisten innerhalb einer einzigen Diffusions-Trajektorie zu kombinieren. Die primäre Bedeutung liegt in dem Nachweis, dass globale Gewichtung pro Stichprobe unzureichend für Aufgaben ist, bei denen Experten über räumlich oder funktional spezialisierte Domänen verfügen. Durch den Übergang zur faktorweisen Komposition erfasst die Methode komplementäre Expertise, die globale Gewichte nicht repräsentieren können, und erreicht eine überlegene Generalisierung bei Aufgaben, die strikte logische Konsistenz erfordern.

Die Autoren merken an, dass ihre aktuelle Implementierung auf konfidenzbasierterem Routing beruht (unter der Annahme, dass Konfidenz mit Korrektheit korreliert), das Framework sich jedoch natürlich auf gelerntes oder aufgabenbedingtes Routing erweitern lässt. Sie positionieren diese Arbeit als einen Schritt hin zu einer feingranulareren Komposition in der diskreten Diffusion, die über die „monolithischen“ Annahmen aktueller State-of-the-Art-Methoden hinausgeht.