Revisiting Autoregressive Models for Generative Image Classification

Die Arbeit zeigt, dass autoregressive Generative-Modelle durch die Nutzung von Any-Order-Architekturen zur Mittelung über mehrere Token-Reihenfolgen nicht nur effizientere und leistungsfähigere Bildklassifikatoren als Diffusionsmodelle werden, sondern auch mit modernen diskriminativen Modellen konkurrieren können.

Das Wesentliche

Das große Problem: Der starre Blickwinkel

Stell dir vor, du möchtest ein Bild erkennen, zum Beispiel einen Hund.
Die meisten modernen KI-Modelle (die sogenannten Diffusionsmodelle, die gerade sehr populär sind) arbeiten wie ein Künstler, der ein Bild von groben Umrissen bis hin zu feinen Details malt. Das funktioniert super, ist aber langsam.

Frühere Modelle, die autoregressiv (AR) arbeiten, funktionierten wie jemand, der ein Bild Zeile für Zeile liest – genau wie wir einen Text lesen: von links nach rechts, von oben nach unten.

• Das Problem: Wenn du ein Bild nur in einer festen Reihenfolge (Zeile 1, dann Zeile 2, dann Zeile 3...) betrachtest, verpasst du vielleicht wichtige Zusammenhänge. Es ist, als würdest du versuchen, ein Puzzle zu lösen, indem du nur die linke Hälfte zuerst legst und dann die rechte. Wenn das erste Stück (der linke Rand) dich in die Irre führt, ist das ganze Bild falsch.

Die Forscher aus diesem Papier haben festgestellt: Die Reihenfolge, in der die KI das Bild "liest", ist entscheidend. Manchmal erkennt sie einen Hund, wenn sie von links nach rechts liest. Aber wenn sie von rechts nach links liest, denkt sie vielleicht, es sei eine Katze.

Die Lösung: Der "Alles-ist-möglich"-Ansatz

Die Forscher haben sich gedacht: "Warum sich auf eine Lesart festlegen? Warum nicht alle möglichen Lesarten ausprobieren?"

Stell dir vor, du hast eine Gruppe von Experten, die alle dasselbe Bild betrachten, aber jeder schaut es aus einer anderen Perspektive an:

• Experte A liest von links nach rechts.
• Experte B liest von rechts nach links.
• Experte C fängt in der Mitte an und springt hin und her.
• Experte D liest erst die obere Hälfte, dann die untere.

Jeder Experte gibt seine Meinung ab. Wenn man nun alle diese Meinungen zusammenzählt und mittelt, erhält man eine viel genauere und robustere Antwort als wenn man sich nur auf einen einzigen Experten verlässt.

Das ist genau das, was die Autoren mit ihren RandAR-Modellen gemacht haben. Sie nutzen ein KI-Modell, das Bilder in beliebiger Reihenfolge von "Token" (kleinen Bildteilen) verstehen kann. Sie lassen das Modell das Bild tausende Male in zufälligen Reihenfolgen "durchgehen" und mitteln die Ergebnisse.

Warum ist das so cool? (Die drei Vorteile)

1. Es ist viel schneller (Der Sprinter vs. der Marathonläufer)

• Diffusionsmodelle (die alten Favoriten): Um ein Bild zu erkennen, müssen sie oft 100 bis 250 kleine Schritte machen. Das ist wie ein Marathonläufer, der langsam aber sicher ans Ziel kommt.
• Das neue AR-Modell: Es braucht nur einen einzigen Blick (einen "Forward Pass"), um die Wahrscheinlichkeit zu berechnen. Selbst wenn wir es 20-mal in verschiedenen Reihenfolgen laufen lassen, ist es immer noch bis zu 25-mal schneller als die Diffusionsmodelle. Es ist wie ein Sprinter, der das Ziel erreicht, während der Marathonläufer noch bei der Hälfte ist.

2. Es ist robuster (Der schlaue Detektiv)

• Normale KI-Modelle machen oft Fehler, wenn das Bild verrauscht ist oder eine ungewöhnliche Perspektive hat (z. B. ein Hund, der auf dem Kopf steht). Sie schauen oft nur auf "Tricks" (z. B. "Oh, das ist braun und hat vier Beine, also ist es ein Hund").
• Da unser neues Modell das Bild aus vielen Blickwinkeln betrachtet, verliert es diese Tricks nicht so leicht. Es versteht das Bild ganzheitlich. In Tests hat es sich gegen "Out-of-Distribution"-Daten (also Daten, die es nie gesehen hat) viel besser geschlagen als die alten Modelle.

3. Es ist fast so gut wie die Besten (Der Underdog, der gewinnt)

• Normalerweise sind die "Generativen" Modelle (die Bilder erstellen können) schlechter darin, Bilder nur zu erkennen, als die spezialisierten "Diskriminativen" Modelle (die nur erkennen, aber nichts erstellen können).
• Das neue Modell hat jedoch einen Meilenstein erreicht: Es ist fast so gut wie die allerbesten spezialisierten Erkennungs-KIs (wie DINOv2), kann aber gleichzeitig Bilder generieren. Es ist wie ein Koch, der nicht nur ein Gericht kochen, sondern auch blind schmecken kann, was genau drin ist – und dabei genauso gut ist wie ein professioneller Blindtest-Spezialist.

Zusammenfassung in einem Satz

Die Forscher haben herausgefunden, dass man KI-Modelle für die Bilderkennung viel besser macht, wenn man sie nicht wie einen starren Leser behandelt, sondern wie eine Menge von Detektiven, die das Bild aus allen möglichen Winkeln betrachten und ihre Ergebnisse zusammenfassen. Das Ergebnis ist ein System, das schneller, genauer und robuster ist als die bisherigen Spitzenreiter.

Der Clou: Sie haben gezeigt, dass man nicht unbedingt den "langsamsten, aber gründlichsten" Weg gehen muss, um das beste Ergebnis zu erzielen. Manchmal ist es besser, viele schnelle, unterschiedliche Perspektiven zu kombinieren.

Technische Zusammenfassung

1. Problemstellung

Generative Modelle (GMs), insbesondere Diffusionsmodelle (DMs), haben sich in den letzten Jahren als robuste und genaue Klassifikatoren etabliert, die oft besser mit „Shortcut-Lösungen" (spurious correlations) umgehen können als diskriminative Modelle. Autoregressive (AR) Modelle waren früher ein vielversprechender Ansatz für die Bildgenerierung, wurden jedoch von Diffusionsmodellen in der Qualität übertroffen und spielen als Generative Classifiers (GCs) derzeit eine untergeordnete Rolle.

Ein zentrales Problem bei der Verwendung von AR-Modellen für die Klassifizierung ist ihre Abhängigkeit von einer festen Token-Reihenfolge (z. B. Raster-Scan: von links oben nach rechts unten). Diese starre induktive Bias schränkt das Verständnis des Modells ein, da die Klassifizierung stark von der gewählten Reihenfolge abhängt. Das Paper zeigt, dass ein einzelner Token-Order oft nur auf partielle diskriminative Hinweise reagiert, während eine konsistente Vorhersage über das gesamte Bild hinweg schwierig ist.

2. Methodik

Die Autoren schlagen einen neuen Ansatz vor, der auf Any-Order Autoregressive Models (hier: RandAR) basiert, um die Limitierungen fester Token-Reihenfolgen zu überwinden.

• Order-Marginalisierung: Anstatt sich auf eine einzige Token-Reihenfolge zu verlassen, marginalisiert das vorgeschlagene Verfahren über mehrere zufällige Token-Reihenfolgen ($\pi$).
• Schätzung der Likelihood:
  • Ein AR-Modell kann die bedingte Likelihood $p(x|\pi, c)$ für eine spezifische Reihenfolge $\pi$ und Klasse $c$ effizient berechnen.
  • Um die unbedingte Likelihood $p(x|c)$ zu schätzen, wird der Erwartungswert über alle Permutationen gebildet: $E_{\pi}[p(x|\pi, c)]$.
  • Praktisch wird dies durch Monte-Carlo-Sampling mit $K$ zufälligen Permutationen approximiert.
  • Wichtiger theoretischer Schritt: Statt die Likelihood direkt zu mitteln, nutzen die Autoren die Jensen-Ungleichung, um eine untere Schranke (Lower Bound) für die Log-Likelihood zu nutzen:
    $$\log p(x|c) \geq E_{\pi} [\log p(x|\pi, c)] \approx \frac{1}{K} \sum_{k=1}^{K} \log p(x|\pi_k, c)$$
    Die Autoren zeigen, dass diese untere Schranke (die dem Trainingsziel von RandAR entspricht) eine deutlich bessere Klassifizierungsleistung erzielt als die direkte Mittelung der Likelihoods.
• Effizienz: Während Diffusionsmodelle für eine einzelne Likelihood-Schätzung typischerweise 100–250 Vorwärtsdurchläufe (Timesteps) benötigen, benötigt ein AR-Modell nur einen Durchlauf pro Token-Reihenfolge. Selbst mit $K=20$ (20 Durchläufe) ist das AR-Modell deutlich effizienter als Diffusionsklassifikatoren.

3. Schlüsselbeiträge

1. Identifikation der Token-Order-Limitierung: Das Paper demonstriert, dass die feste Raster-Ordnung in klassischen AR-Modellen eine starke Einschränkung für die generative Klassifizierung darstellt.
2. Order-Marginalisierter Klassifikator: Einführung eines Frameworks, das die Vorhersagen über mehrere zufällige Token-Reihenfolgen mittelt, um ein umfassenderes Bildverständnis zu erreichen.
3. Überlegene Effizienz und Leistung: Die Methode erreicht State-of-the-Art-Ergebnisse bei der Bildklassifizierung und ist dabei bis zu 25-mal effizienter als Diffusions-basierte Klassifikatoren.
4. Vergleich mit State-of-the-Art: Zum ersten Mal wird ein generativer Klassifikator (GC) mit fortschrittlichen selbstüberwachten diskriminativen Modellen (wie DINOv2) verglichen. Das AR-Modell erreicht hier konkurrenzfähige Ergebnisse, was ein seltenes Merkmal für GCs ist.

4. Ergebnisse

Die Experimente wurden auf ImageNet-1K und verschiedenen Out-of-Distribution (OOD) Benchmarks (ImageNet-R, S, A, C) durchgeführt:

• Genauigkeit: Der order-marginalisierte RandAR-Klassifikator (mit $K=20$) übertrifft sowohl Diffusionsklassifikatoren (DiT, SiT) als auch frühere AR-Ansätze (LlamaGen, VAR) signifikant.
  • Auf ImageNet-Val erreicht das XL-Modell 81,3 % Top-1-Genauigkeit.
  • Es übertrifft DINOv2 (einem der stärksten SSL-Baselines) in 3 von 5 OOD-Benchmarks (IN-R, IN-S, IN-C Gauss) und ist nur in wenigen Fällen leicht unterlegen.
• Robustheit: Das Modell zeigt eine überlegene Robustheit gegenüber Verteilungsverschiebungen (Distribution Shifts) und Rauschen im Vergleich zu Diffusionsmodellen und diskriminativen Baselines.
• Effizienz: Bei der Inferenz ist der AR-Ansatz bis zu 25-mal schneller als Diffusionsmodelle, da er keine iterativen Denoising-Schritte benötigt.
• Token-Analyse: Die Analyse der per-Token-Genauigkeit zeigt, dass die Marginalisierung über mehrere Ordnungen ($K > 1$) die diskriminativen Informationen über das gesamte Bild verteilt und nicht nur auf zentrale Objekte fokussiert (was bei $K=1$ oder fester Ordnung der Fall ist).

5. Bedeutung und Ausblick

Dieses Paper stellt einen Wendepunkt in der Forschung zu generativen Klassifikatoren dar. Es widerlegt die Annahme, dass Diffusionsmodelle aufgrund ihrer inhärenten Struktur (die als spektrale Autoregression interpretiert werden kann) den AR-Modellen überlegen sein müssen. Durch die Einführung von Any-Order-Autoregression und der geschickten Nutzung der Order-Marginalisierung können AR-Modelle ihre inhärente Effizienz mit der hohen Genauigkeit von Diffusionsmodellen vereinen.

Die Ergebnisse zeigen, dass generative Modelle nicht nur für die Bildsynthese, sondern auch als hochleistungsfähige, robuste und effiziente Klassifikatoren eingesetzt werden können. Zukünftige Arbeiten könnten sich auf die Kombination mit selbstüberwachtem Lernen (SSL) oder die Destillation dieser Modelle in diskriminative Architekturen konzentrieren, um die Inferenzgeschwindigkeit weiter zu optimieren.