\textsc{DiARC}: Distinguishing Positive and Negative Samples Helps Improving ARC-like Reasoning Ability of Large Language Models

Sintesi Tecnica di DIARC: Distinguere i Campioni Positivi e Negativi Aiuta a Migliorare la Capacità di Ragionamento di tipo ARC dei Large Language Models

Definizione del Problema

L'Abstraction and Reasoning Corpus (ARC) richiede ai modelli di inferire regole di trasformazione latenti da un piccolo numero di esempi di input-output e di applicarle a nuovi input di test. Sebbene i Large Language Models (LLM) abbiano mostrato progressi nel ragionamento linguistico e matematico, essi faticano con compiti di ragionamento simbolico astratto di tipo ARC. Gli approcci attuali per migliorare le prestazioni degli LLM su ARC si affidano principalmente al Supervised Fine-Tuning (SFT) utilizzando l'aumento dei dati per creare più esempi di addestramento. Tuttavia, questi metodi producono generalmente risultati insoddisfacenti con i modelli open-source e sono costosi con quelli closed-source.

Gli autori identificano tre limitazioni chiave negli attuali approcci basati su SFT:

1. Difficoltà Generativa: Le sequenze di output di ARC sono spesso lunghe, rendendo difficile la predizione passo-passo dei token.
2. Locale vs. Globale: L'SFT si concentra sulle informazioni locali dei token, mentre i compiti ARC richiedono la comprensione delle caratteristiche globali della griglia.
3. Mancanza di Guida Negativa: I metodi esistenti si affidano esclusivamente a campioni positivi (coppie input-output corrette) e mancano di guida dagli output errati. Gli autori sostengono che risolvere ARC richieda non solo l'apprendimento di pattern corretti, ma anche la capacità di distinguere le regole corrette da alternative plausibili ma errate, i cosiddetti "near-miss".

Metodologia: DIARC

Per affrontare queste limitazioni, gli autori propongono DIARC, un framework di allineamento delle preferenze che ottimizza gli LLM per distinguere tra output corretti e campioni negativi rifiutati. Il metodo consiste in tre componenti principali:

1. Costruzione dei Campioni Negativi
Inveve di affidarsi solo ai target corretti, DIARC costruisce coppie di preferenza $(x, y^+, y^-)$ dove $y^+$ è l'output corretto e $y^-$ è un campione negativo derivato dallo stesso compito. I campioni negativi sono costruiti a tre livelli distinti per garantire che siano "near-miss" informativi:

• Trasformazioni Visive a Livello di Output ($NG_{Vis}$): Modifica direttamente la griglia di output utilizzando 28 operazioni atomiche suddivise in quattro famiglie:
  • Operatori di blocco della griglia: (es. pooling, mode-centering, rimozione di componenti piccole) che preservano il layout grossolano ma danneggiano la struttura fine.
  • Spostamenti rigidi (Rigid shifts): Spostamento del contenuto della griglia in otto direzioni con magnitudo del 10% o 30%.
  • Operatori morfologici/geometrici: (es. erosione, dilatazione, scheletrizzazione) che alterano la forma degli oggetti mantenendo il layout spaziale.
  • Perturbazioni locali: Iniezione di rumore o scambio di pixel ai bordi.
• Inversione della Regola a Livello di DSL ($NG_{DSL}$): Opera a livello di programma. Gli autori analizzano i programmi di trasformazione specifici del compito scritti in un linguaggio specifico del dominio (DSL). Identificano pattern di regole locali ricorrenti e applicano una reversione semantica (inversione) a questi pattern, generando un programma che produce un output errato rispetto alla regola pur rimanendo vicino alla logica originale.
• Editing della Regola Specifico per il Compito ($NG_{Edit}$): Utilizza un LLM (GPT-5.4) per assistere nell'editing della regola di trasformazione per un compito specifico. L'obiettivo è generare una regola alternativa che sia l'opposto semantico dell'originale o una variante stretta che porti a un comportamento di trasformazione differente, garantendo che il negativo sia strutturalmente simile ma logicamente distinto.

2. Pipeline di Ottimizzazione delle Preferenze
Una volta costruite le coppie di preferenza, il modello viene addestrato utilizzando il Direct Preference Optimization (DPO). A differenza del Reinforcement Learning from Human Feedback (RLHF), che richiede un esplicito modello di ricompensa, il DPO ottimizza direttamente il modello di policy $\pi_\theta$ per assegnare una verosimiglianza maggiore all'output scelto ($y^+$) rispetto all'output rifiutato ($y^-$) rispetto a un modello di riferimento $\pi_{ref}$. La funzione di perdita è:
$$L_{DPO} = -E \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(y^+|x)}{\pi_{ref}(y^+|x)} - \beta \log \frac{\pi_\theta(y^-|x)}{\pi_{ref}(y^-|x)} \right) \right]$$
Il modello di policy è inizializzato da un modello SFT, e il modello di riferimento è una copia congelata di tale modello SFT.

Contributi Chiave

• Cambio di Paradigma della Supervisione: L'articolo sostiene che il miglioramento del ragionamento ARC richieda di andare oltre la pura supervisione dei campioni positivi per includere la discriminazione dei campioni negativi, attingendo ai principi delle scienze cognitive secondo cui l'apprendimento comporta l'identificazione e la correzione degli errori.
• Costruzione dei Negativi su Tre Livelli: La proposta di un metodo sistematico per generare campioni negativi informativi tramite trasformazioni visive, inversione delle regole DSL ed editing delle regole specifiche per il compito.
• Allineamento delle Preferenze per ARC: L'applicazione del DPO ai compiti ARC, dimostrando che l'ottimizzazione per la distinzione tra output corretti e plausibili output errati migliora le capacità di ragionamento.

Risultati Sperimentali

Gli autori hanno valutato DIARC su sei benchmark: ARC-AGI-1, ARC-AGI-2, MiniARC, ConceptARC, 1D-ARC e ARCcommunity, utilizzando tre backbone di LLM open-source (Llama-3.2-3B, Mistral-NeMo-Minitron-8B e Qwen3-4B).

• Miglioramenti Costanti: DIARC ha superato costantemente i modelli baseline basati solo su SFT in tutti i dataset e dimensioni dei modelli.
• Prestazioni State-of-the-Art: Utilizzando il modello Qwen3, DIARC ha raggiunto il 97,00% di accuratezza su ARC-AGI-1 e il 33,06% su ARC-AGI-2. Su MiniARC e ConceptARC, ha raggiunto rispettivamente il 97,32% e il 97,29%.
• Confronto: Questi risultati superano vari modelli specializzati in ARC (es. HRM, GRAM, VARC) e forti LLM closed-source (es. GPT-4, o1-mini, Kimi K2.5).
• Ablazione: Gli esperimenti hanno mostrato che tutte e tre le strategie di costruzione dei negativi hanno contribuito ai guadagni di prestazione, con "Random Perturb" e "Rigid Shift" che spesso fornivano miglioramenti significativi su specifici benchmark.

Significato e Rivendicazioni

L'articolo sostiene che la capacità di distinguere tra regole corrette e alternative "near-miss" plausibili è una competenza cruciale per il ragionamento ARC che viene spesso trascurata nella standard SFT. Sfruttando l'allineamento delle preferenze, DIARC consente ai modelli di apprendere non solo qual è la risposta, ma anche perché certe alternative plausibili sono errate. Gli autori affermano che questo approccio fornisce un modo efficace in termini di costi per migliorare i modelli open-source portandoli a livelli competitivi o superiori ai sistemi closed-source costosi su compiti di ragionamento astratto, senza richiedere i massicci costi di inferenza associati ai modelli di frontiera. Il lavoro suggerisce che i futuri miglioramenti nel ragionamento ARC potrebbero dipendere più dalla qualità della costruzione dei campioni negativi e dall'ottimizzazione delle preferenze che dal semplice aumento della dimensione dei dati o del modello.