💬 NLP

\textsc{DiARC}: Distinguishing Positive and Negative Samples Helps Improving ARC-like Reasoning Ability of Large Language Models

Dieses Paper schlägt \textsc{DiARC} vor, eine Methode, welche die ARC-ähnlichen Fähigkeiten der logischen Schlussfolgerung von großen Sprachmodellen verbessert, indem sie durch visuelle Transformationen, Regelinversion und aufgabenspezifische Editierung Präferenzpaare mit informativen negativen Beispielen konstruiert und somit die Modelle befähigt, zwischen korrekten und inkorrekten Lösungen effektiver zu unterscheiden.

Ursprüngliche Autoren: Yuxuan Yang, Feiyang Li, Yile Wang

Veröffentlicht 2026-06-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yuxuan Yang, Feiyang Li, Yile Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: KI lehren, Rätsel zu lösen

Stellen Sie sich vor, Sie versuchen, einem Schüler beizubringen, wie man ein visuelles Rätsel löst. Sie zeigen ihm ein paar Beispiele: „Hier wird ein rotes Quadrat zu einem blauen Kreis. Hier wird ein grünes Dreieck zu einem gelben Stern.“ Dann geben Sie ihm eine neue Form und fragen: „In was verwandelt sich diese?“

Dies ist die ARC (Abstraction and Reasoning Corpus) Herausforderung. Es ist ein Test für reine Logik und Mustererkennung. Während große KI-Modelle (LLMs) großartig darin sind, Gedichte zu schreiben oder mathematische Probleme zu lösen, haben sie mit diesen visuellen Rätseln Schwierigkeiten. Sie raten oft wahllos oder bleiben stecken, weil sie die tiefe Regel hinter der Veränderung nicht gelernt haben.

Der alte Weg: Nur die richtige Antwort zeigen

Früher versuchten Forscher dies zu beheben, indem sie der KI nur die richtigen Antworten zeigten.

Die Analogie: Stellen Sie sich einen Lehrer vor, der einem Schüler eine Matheaufgabe zeigt und nur sagt: „Die Antwort ist 5.“ Der Schüler merkt sich, dass „5“ die Antwort auf diese spezifische Aufgabe ist, aber er versteht nicht, warum es 5 ist. Wenn sich die Aufgabe geringfügig ändert, scheitert der Schüler.
Die Kritik der Arbeit: Die Autoren argumentieren, dass es nicht ausreicht, nur die „richtige“ Antwort zu zeigen. Die KI muss auch lernen, was man nicht tun darf.

Die neue Idee: Lernen aus „Beinahe-Fehlern“

Die Autoren schlagen eine neue Methode namens DIARC vor. Ihr Kernkonzept ist einfach: Um die richtige Regel zu lernen, muss man auch lernen, die falschen Regeln zu erkennen.

Die Analogie: Denken Sie an einen Meisterkoch, der einen Lehrling unterrichtet.
- Der alte Weg: Der Koch sagt: „Diese Suppe schmeckt perfekt. Merke dir diesen Geschmack.“
- Der DIARC-Weg: Der Koch sagt: „Diese Suppe schmeckt perfekt. Aber schau dir diese drei anderen Schüsseln an: In einer ist zu viel Salz, in einer fehlen die Kräuter und eine ist angebrannt. Sie alle sehen aus wie Suppe, aber sie sind falsch. Kannst du den Unterschied erkennen?“

Indem man der KI die „fast richtigen“, aber eigentlich falschen Antworten zeigt, lernt die KI, das wahre Muster von den Scheinmustern zu unterscheiden.

Wie sie die „falschen“ Antworten erstellen (Die drei Tricks)

Die Arbeit beschreibt drei clevere Wege, um diese „falschen“ Antworten (negative Proben) zu erstellen, ohne das ursprüngliche Rätsel zu verändern:

Der visuelle Tweak (Output-Ebene):
- Was sie tun: Sie nehmen die korrekte Antwort und verändern sie leicht. Vielleicht verschieben sie das ganze Bild ein kleines Stück nach links oder lassen die Kanten verschwimmen.
- Die Metapher: Es ist, als würde man ein perfektes Foto nehmen und die Kamera leicht neigen oder ein wenig Bildrauschen hinzufügen. Das Foto sieht immer noch nach der Szene aus, aber es ist nicht exakt richtig.
Der Regel-Flip (DSL-Ebene):
- Was sie tun: Sie schauen sich den „Code“ oder die Logik an, die die KI zur Lösung des Rätsels verwendet. Wenn die Regel lautet „Bewege alles nach oben“, drehen sie sie um in „Bewege alles nach unten“.
- Die Metapher: Wenn die Regel für ein Spiel ist „Springe, wenn du ein rotes Licht siehst“, erstellen sie eine falsche Regel: „Springe, wenn du ein grünes Licht siehst.“ Es klingt logisch, ist aber das Gegenteil der Wahrheit.
Das intelligente Editieren (Aufgabenspezifisch):
- Was sie tun: Sie nutzen eine superintelligente KI (wie GPT-5.4), um die Regel für ein spezifisches Rätsel so umzuschreiben, dass sie das „semantische Gegenteil“ darstellt.
- Die Metapher: Wenn das Rätsel vom „Füllen eines Eimers“ handelt, editiert die KI die Regel so, dass es um das „Leeren eines Eimers“ geht. Es ist ein sehr spezifischer, tückischer Fehler, der so aussieht, als könnte er richtig sein, aber es ist er nicht.

Das Ergebnis: Ein klügerer Schüler

Die Forscher testeten diese Methode auf sechs verschiedenen Rätsel-Benchmarks. Sie verwendeten drei verschiedene Open-Source-KI-Modelle und verglichen sie mit Modellen, die nur aus korrekten Antworten lernten.

Das Ergebnis: Die mit DIARC trainierten Modelle (die „Fehler-Erkennungs-Methode“) erzielten deutlich bessere Ergebnisse.
Der Höhepunkt: Durch die Verwendung eines Modells namens Qwen3 erreichten sie bei einigen der schwierigsten Rätsel eine Genauigkeit von über 96 %. Dies schlug viele teure, geschlossene Modelle und sogar spezialisierte KIs, die genau für diese Aufgaben entwickelt wurden.

Zusammenfassung

Die Arbeit argumentiert, dass wir, um KI besser in abstraktem Denken zu machen, ihr nicht nur die richtigen Antworten füttern sollten. Wir müssen ihr beibringen, die falschen abzulehnen. Indem wir „Beinahe-Fehler“ erstellen und die KI darauf trainieren, den richtigen Weg gegenüber den verlockenden falschen Wegen zu wählen, lernt die KI die wahre Logik hinter den Rätseln viel schneller und effektiver.

Technisches Resümee von DIARC: Unterscheidung zwischen positiven und negativen Beispielen verbessert die ARC-ähnliche Argumentationsfähigkeit von Large Language Models

Problemstellung

Der Abstraction and Reasoning Corpus (ARC) erfordert, dass Modelle aus einer geringen Anzahl von Eingabe-Ausgabe-Gitterbeispielen latente Transformationsregeln ableiten und diese auf neue Testeingaben anwenden. Während Large Language Models (LLMs) Fortschritte im natürlichen Sprach- und mathematischen Denken gezeigt haben, haben sie Schwierigkeiten mit ARC-ähnlichen abstrakten symbolischen Aufgaben. Derzeitige Ansätze zur Verbesserung der LLM-Leistung bei ARC stützen sich primlich auf Supervised Fine-Tuning (SFT) unter Verwendung von Datenaugmentation, um mehr Trainingsbeispiele zu erstellen. Diese Methoden liefern jedoch bei Open-Source-Modellen meist unbefriedigende Ergebnisse und sind bei Closed-Source-Modellen kostspielig.

Die Autoren identifizieren drei zentrale Einschränkungen aktueller SFT-basierter Ansätze:

Generative Schwierigkeit: Die Ausgabesequenzen von ARC sind oft lang, was die schrittweise Token-Vorhersage erschwert.
Lokal vs. Global: SFT konzentriert sich auf lokale Token-Informationen, während ARC-Aufgaben das Verständnis globaler Gittercharakteristika erfordern.
Mangel an negativer Anleitung: Bestehende Methoden verlassen sich ausschließlich auf positive Proben (korrekte Eingabe-Ausgabe-Paare) und lassen eine Anleitung durch inkorrekte Ausgaben vermissen. Die Autoren argumenten, dass die Lösung von ARC nicht nur das Erlernen korrekter Muster erfordert, sondern auch die Fähigkeit, korrekte Regeln von plausiblen, aber inkorrekten „Beinahe-Fehlern“ (Near-Misses) zu unterscheiden.

Methodik: DIARC

Um diese Einschränkungen zu adressieren, schlagen die Autoren DIARC vor, ein Framework zur Präferenz-Ausrichtung (Preference Alignment), das LLMs optimiert, um zwischen korrekten Ausgaben und abgelehnten negativen Proben zu unterscheiden. Die Methode besteht aus drei Hauptkomponenten:

1. Konstruktion negativer Proben
Anstatt sich nur auf korrekte Zielwerte zu verlassen, konstruiert DIARC Präferenzpaare $(x, y^+, y^-)$ , wobei $y^+$ die korrekte Ausgabe und $y^-$ eine aus derselben Aufgabe abgeleitete negative Probe ist. Die negativen Proben werden auf drei verschiedenen Ebenen konstruiert, um sicherzustellen, dass sie informative „Beinahe-Fehler“ sind:

Visuelle Transformationen auf Ausgabenebene ( $NG_{Vis}$ ): Modifiziert das Ausgabegitter direkt mittels 28 atomarer Operationen über vier Familien hinweg:
- Gitterblock-Operatoren: (z. B. Pooling, Mode-Centering, Entfernen kleiner Komponenten), die das grobe Layout bewahren, aber die feingliedrige Struktur beschädigen.
- Starre Verschiebungen (Rigid Shifts): Verschiebt den Gitterinhalt in acht Richtungen mit einer Magnitude von 10 % oder 30 %.
- Morphologische/Geometrische Operatoren: (z. B. Erosion, Dilatation, Skelettierung), die Objektformen verändern, während das räumliche Layout erhalten bleibt.
- Lokale Perturbationen: Injiziert Rauschen oder vertauscht Randpixel.
Regel-Inversion auf DSL-Ebene ( $NG_{DSL}$ ): Operiert auf der Programmebene. Die Autoren analysieren aufgabenspezifische Transformationsprogramme, die in einer domänenspezifischen Sprache (DSL) geschrieben wurden. Sie identifizieren wiederkehrende lokale Regelmuster und wenden eine semantische Umkehrung (Inversion) auf diese Muster an, wodurch ein Programm generiert wird, das eine regel-inkorrekt Ausgabe erzeugt, aber der ursprünglichen Logik nahebleibt.
Aufgabenspezifische Regel-Editierung ( $NG_{Edit}$ ): Nutzt ein LLM (GPT-5.4), um beim Editieren der Transformationsregel für eine spezifische Aufgabe zu assistieren. Das Ziel ist es, eine alternative Regel zu generieren, die das semantische Gegenteil der Originalregel ist oder eine nahe Variante darstellt, die zu einem anderen Transformationsverhalten führt, um sicherzustellen, dass das Negative strukturell ähnlich, aber logisch verschieden ist.

2. Pipeline zur Präferenz-Optimierung
Sobald die Präferenzpaare konstruiert sind, wird das Modell mittels Direct Preference Optimization (DPO) trainiert. Im Gegensatz zum Reinforcement Learning from Human Feedback (RLHF), das ein explizites Belohnungsmodell erfordert, optimiert DPO das Policy-Modell $\pi_\theta$ direkt so, dass es der korrekten Ausgabe ( $y^+$ ) eine höhere Wahrscheinlichkeit zuweist als der abgelehnten Ausgabe ( $y^-$ ) im Verhältnis zu einem Referenzmodell $\pi_{ref}$ . Die Verlustfunktion lautet:
$L_{DPO} = -E \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(y^+|x)}{\pi_{ref}(y^+|x)} - \beta \log \frac{\pi_\theta(y^-|x)}{\pi_{ref}(y^-|x)} \right) \right]$
Das Policy-Modell wird von einem SFT-Modell initialisiert, und das Referenzmodell ist eine eingefrorene Kopie dieses SFT-Modells.

Zentrale Beiträge

Paradigmenwechsel der Supervision: Die Arbeit argumentiert, dass die Verbesserung der ARC-Argumentation eine Bewegung über die reine Supervision durch positive Proben hinaus erfordert, hin zur Diskriminierung negativer Proben, angelehnt an kognitionswissenschaftliche Prinzipien, wonach Lernen die Identifizierung und Korrektur von Fehlern beinhaltet.
Drei-stufige Konstruktion negativer Proben: Der Vorschlag einer systematischen Methode zur Generierung informativer negativer Proben via visueller Transformationen, DSL-Regel-Inversion und aufgabenspezifischer Regel-Editierung.
Präferenz-Ausrichtung für ARC: Die Anwendung von DPO auf ARC-Aufgaben, die zeigt, dass die Optimierung auf die Unterscheidung zwischen korrekten und plausiblen inkorrekten Ausgaben die Argumentationsfähigkeiten verbessert.

Experimentelle Ergebnisse

Die Autoren evaluierten DIARC auf sechs Benchmarks: ARC-AGI-1, ARC-AGI-2, MiniARC, ConceptARC, 1D-ARC und ARCcommunity, unter Verwendung von drei Open-Source-LLM-Backbones (Llama-3.2-3B, Mistral-NeMo-Minitron-8B und Qwen3-4B).

Konsistente Verbesserungen: DIARC übertraf konsistent die SFT-only-Baselines über alle Datensätze und Modellgrößen hinweg.
State-of-the-Art-Leistung: Unter Verwendung des Qwen3-Modells erreichte DIARC 97,00 % Genauigkeit auf ARC-AGI-1 und 33,06 % auf ARC-AGI-2. Auf MiniARC und ConceptARC erreichte es 97,32 % bzw. 97,29 %.
Vergleich: Diese Ergebnisse übertreffen verschiedene ARC-spezialisierte Modelle (z. B. HRM, GRAM, VARC) sowie starke Closed-Source-LLMs (z. B. GPT-4, o1-mini, Kimi K2.5).
Ablation: Experimente zeigten, dass alle drei Strategien zur Konstruktion negativer Proben zu Leistungssteigerungen beitrugen, wobei „Random Perturb“ und „Rigid Shift“ auf spezifischen Benchmarks oft signifikante Verbesserungen lieferten.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Fähigkeit, zwischen korrekten Regeln und plausiblen Beinahe-Alternativen zu unterscheiden, eine entscheidende Fertigkeit für die ARC-Argumentation ist, die in der Standard-SFT oft übersehen wird. Durch die Nutzung von Präferenz-Ausrichtung ermöglicht DIARC es Modellen, nicht nur zu lernen, was die Antwort ist, sondern auch, warum bestimmte plausible Alternativen inkorrekt sind. Die Autoren stellen fest, dass dieser Ansatz einen kosteneffizienten Weg bietet, um Open-Source-Modelle auf ein Niveau zu heben, das mit teuren Closed-Source-Systemen konkurriert oder diese sogar übertrifft, ohne die massiven Inferenzkosten zu verursachen, die mit Frontier-Modellen verbunden sind. Die Arbeit legt nahe, dass zukünftige Verbesserungen der ARC-Argumentation eher von der Qualität der Konstruktion negativer Proben und der Präferenz-Optimierung abhängen als von der bloßen Skalierung von Daten oder Modellgröße.