\textsc{DiARC}: Distinguishing Positive and Negative Samples Helps Improving ARC-like Reasoning Ability of Large Language Models

Technische Samenvatting van DIARC: Het onderscheiden van positieve en negatieve samples helpt bij het verbeteren van de ARC-achtige redeneervaardigheid van Large Language Models

Probleemstelling

De Abstraction and Reasoning Corpus (ARC) vereist dat modellen latente transformatieregels afleiden uit een klein aantal input-output rastervoorbeelden en deze toepassen op nieuwe testinputs. Hoewel Large Language Models (LLM's) vooruitgang hebben laten zien in taalkundig en wiskundig redeneren, worstelen ze met ARC-achtige abstracte symbolische taken. Huidige benaderingen om de prestaties van LLM's op ARC te verbeteren, vertrouwen primair op Supervised Fine-Tuning (SFT) met behulp van data-augmentatie om meer trainingsvoorbeelden te creëren. Deze methoden leveren echter over het algemeen onbevredigende resultaten op met open-source modellen en zijn kostbaar bij closed-source modellen.

De auteurs identificeren drie belangrijke beperkingen in de huidige SFT-gebaseerde benaderingen:

1. Generatieve Moeilijkheid: ARC-outputsequenties zijn vaak lang, wat stap-voor-stap tokenvoorspelling moeilijk maakt.
2. Lokaal vs. Globaal: SFT richt zich op lokale tokeninformatie, terwijl ARC-taken begrip van globale roosterkenmerken vereisen.
3. Gebrek aan Negatieve Begeleiding: Bestaande methoden vertrouwen uitsluitend op positieve samples (correcte input-output paren) en missen begeleiding van incorrecte outputs. De auteurs stellen dat het oplossen van ARC niet alleen het leren van correcte patronen vereist, maar ook het vermogen om correcte regels te onderscheiden van plausibele maar incorrecte "near-miss" alternatieven.

Methodologie: DIARC

Om deze beperkingen aan te pakken, stellen de auteurs DIARC voor, een preference alignment framework dat LLM's optimaliseert om het onderscheid te maken tussen correcte outputs en afgewezen negatieve samples. De methode bestaat uit drie hoofdcomponenten:

1. Constructie van Negatieve Samples
In plaats van uitsluitend te vertrouwen op correcte targets, construeert DIARC preference paren $(x, y^+, y^-)$ waarbij $y^+$ de correcte output is en $y^-$ een negatieve sample afgeleid van dezelfde taak. De negatieve samples worden op drie verschillende niveaus geconstrueerd om ervoor te zorgen dat ze informatief zijn als "near-misses":

• Output-Level Visuele Transformaties ($NG_{Vis}$): Modificeert de output-grid direct met 28 atomaire operaties verdeeld over vier families:
  • Grid-block operators: (bijv. pooling, mode-centering, het verwijderen van kleine componenten) die de grove lay-out behouden maar de fijnmazige structuur beschadigen.
  • Rigid shifts: Het verschuiven van de grid-inhoud in acht richtingen met een magnitude van 10% of 30%.
  • Morphological/Geometry operators: (bijv. erosie, dilatatie, skeletonisatie) die objectvormen veranderen terwijl de ruimtelijke lay-out behouden blijft.
  • Lokale perturbaties: Het injecteren van ruis of het verwisselen van randpixels.
• DSL-Level Regel Inversie ($NG_{DSL}$): Werkt op programmaniveau. De auteurs analyseren taakspecifieke transformatieprogramma's geschreven in een Domain-Specific Language (DSL). Ze identificeren terugkerende lokale regelpatronen en passen een semantische omkering (inversie) toe op deze patronen, waardoor een programma wordt gegenereerd dat een regel-incorrecte output produceert terwijl het dicht bij de oorspronkelijke logica blijft.
• Taakspecifieke Regelbewerking ($NG_{Edit}$): Gebruikt een LLM (GPT-5.4) om bij te staan bij het bewerken van de transformatieregel voor een specifieke taak. Het doel is om een alternatieve regel te genereren die de semantische tegenpool is van de originele, of een variant die dichtbij ligt en leidt tot een andere transformatiegedrag, waardoor de negatieve sample structureel vergelijkbaar maar logisch verschillend is.

2. Preference Optimization Pipeline
Zodra de preference-paren zijn geconstrueerd, wordt het model getraind met behulp van Direct Preference Optimization (DPO). In tegen tegenstelling tot Reinforcement Learning from Human Feedback (RLHF), dat een expliciet beloningsmodel vereist, optimaliseert DPO het beleidsmodel $\pi_\theta$ direct om een hogere waarschijnlijkheid toe te kennen aan de gekozen output ($y^+$) dan aan de afgewezen output ($y^-$) ten opzichte van een referentiemodel $\pi_{ref}$. De loss-functie is:
$$L_{DPO} = -E \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(y^+|x)}{\pi_{ref}(y^+|x)} - \beta \log \frac{\pi_\theta(y^-|x)}{\pi_{ref}(y^-|x)} \right) \right]$$
Het beleidsmodel wordt geïnitialiseerd vanuit een SFT-model, en het referentiemodel is een bevroren kopie van dat Simde SFT-model.

Belangrijkste Bijdragen

• Verschuiving in het Supervisieparadigma: Het artikel betoogt dat verbetering van ARC-redeneren vereist dat men verder gaat dan pure positieve sample-supervisie door ook de discriminatie van negatieve samples te includeren, gebaseerd op cognitieve wetenschappelijke principes dat leren ook het identificeren en corrigeren van fouten behelst.
• Drielaags Negatieve Constructie: Het voorstel van een systematische methode om informatieve negatieve samples te genereren via visuele transformaties, DSL-regel inversie en taakspecifieke regelbewerking.
• Preference Alignment voor ARC: De toepassing van DPO op ARC-taken, waarbij wordt aangetoond dat het optimaliseren voor het onderscheid tussen correcte en plausibele incorrecte outputs de redeneervaardigheden verbetert.

Experimentele Resultaten

De auteurs evalueerden DIARC op zes benchmarks: ARC-AGI-1, ARC-AGI-2, MiniARC, ConceptARC, 1D-ARC en ARCcommunity, gebruikmakend van drie open-source LLM-backbones (Llama-3.2-3B, Mistral-NeMo-Minitron-8B en Qwen3-4B).

• Consistente Verbeteringen: DIARC presteerde consequent beter dan de baseline SFT-only modellen over alle datasets en modelgroottes.
• State-of-the-Art Prestaties: Met het Qwen3-model bereikte DIARC 97,00% nauwkeurigheid op ARC-AGI-1 en 33,06% op ARC-AGI-2. Op MiniARC en ConceptARC behaalde het respectievelijk 97,32% en 97,29%.
• Vergelijking: Deze resultaten presteren beter dan diverse ARC-gespecialiseerde modellen (bijv. HRM, GRAM, VARC) en sterke closed-source LLM's (bijv. GPT-4, o1-mini, Kimi K2.5).
• Ablatie: Experimenten toonden aan dat alle drie de strategieën voor negatieve constructie bijdroegen aan de prestatiewinst, waarbij "Random Perturb" en "Rigid Shift" vaak significante verbeteringen boden op specifieke benchmarks.

Betekenis en Claims

Het artikel claimt dat het vermogen om het onderscheid te maken tussen correcte regels en plausibele "near-miss" alternatieven een cruciale vaardigheid is voor ARC-redeneren die vaak over het hoofd wordt gezien in standaard SFT. Door gebruik te maken van preference alignment, stelt DIARC modellen in staat om niet alleen te leren wat het antwoord is, maar ook waarom bepaalde plausibele alternatieven incorrect zijn. De auteurs stellen dat deze aanpak een kosteneffectieve manier biedt om open-source modellen naar niveaus te brengen die competitief zijn met of zelfs de dure closed-source systemen overtreffen op abstracte redeneertaken, zonder de enorme inference-kosten die gepaard gaan met frontier-modellen. Het werk suggereert dat toekomstige verbeteringen in ARC-redeneren meer zullen afhangen van de kwaliteit van de constructie van negatieve samples en preference optimalisatie dan van simpelweg het opschalen van data of modelgrootte.