\textsc{DiARC}: Distinguishing Positive and Negative Samples Helps Improving ARC-like Reasoning Ability of Large Language Models

Résumé technique de DIARC : Distinguer les échantillons positifs et négatifs aide à améliorer la capacité de raisonnement de type ARC des grands modèles de langage

Énoncé du problème

L'Abstraction and Reasoning Corpus (ARC) exige que les modèles infèrent des règles de transformation latentes à partir d'un petit nombre d'exemples de grilles entrée-sortie et les appliquent à de nouvelles entrées de test. Bien que les grands modèles de langage (LLM) aient montré des progrès dans le raisonnement linguistique et mathématique, ils peinent face aux tâches de symbolisme abstrait de type ARC. Les approches actuelles pour améliorer les performances des LLM sur ARC reposent principalement sur le Fine-Tuning Supervisé (SFT) en utilisant l'augmentation de données pour créer plus d'exemples d'entraînement. Cependant, ces méthodes produisent généralement des résultats insatisfaisants avec les modèles open-source et sont coûteuses avec les modèles propriétaires.

Les auteurs identifient trois limitations clés des approches actuelles basées sur le SFT :

1. Difficulté générative : Les séquences de sortie d'ARC sont souvent longues, ce qui rend la prédiction étape par étape des tokens difficile.
2. Local vs Global : Le SFT se concentre sur l'information locale des tokens, alors que les tâches ARC nécessitent la compréhension des caractéristiques globales de la grille.
3. Manque de guidage négatif : Les méthodes existantes reposent uniquement sur des échantillons positifs (paires entrée-sortie correctes) et manquent de guidage par des sorties incorrectes. Les auteurs soutiennent que la résolution de l'ARC nécessite non seulement d'apprendre les bons schémas, mais aussi la capacité de distinguer les règles correctes des alternatives plausibles mais incorrectes dites « quasi-réussites » (near-misses).

Méthodologie : DIARC

Pour répondre à ces limitations, les auteurs proposent DIARC, un cadre d'alignement de préférences qui optimise les LLM pour distinguer les sorties correctes des échantillons négatifs rejetés. La méthode se compose de trois composantes principales :

1. Construction d'échantillons négatifs
Au lieu de s'appuyer uniquement sur les cibles correctes, DIARC construit des paires de préférence $(x, y^+, y^-)$ où $y^+$ est la sortie correcte et $y^-$ est un échantillon négatif dérivé de la même tâche. Les échantillons négatifs sont construits à trois niveaux distincts pour garantir qu'ils soient des « quasi-réussites » informatives :

• Transformations visuelles au niveau de la sortie ($NG_{Vis}$) : Modifie directement la grille de sortie en utilisant 28 opérations atomiques réparties en quatre familles :
  • Opérateurs de blocs de grille : (ex: pooling, centrage de mode, suppression de petits composants) qui préservent la disposition globale mais endommagent la structure fine.
  • Décalages rigides : Déplacement du contenu de la grille dans huit directions avec une magnitude de 10 % ou 30 %.
  • Opérateurs morphologiques/géométriques : (ex: érosion, dilatation, squelettisation) qui altèrent la forme des objets tout en conservant la disposition spatiale.
  • Perturbations locales : Injection de bruit ou échange de pixels de bordure.
• Inversion de règle au niveau du DSL ($NG_{DSL}$) : Opère au niveau du programme. Les auteurs analysent les programmes de transformation spécifiques à la tâche écrits dans un langage dédié (DSL). Ils identifient des motifs de règles locales récurrentes et appliquent une inversion sémantique à ces motifs, générant un programme qui produit une sortie incorrecte par rapport à la règle tout en restant proche de la logique originale.
• Édition de règle spécifique à la tâche ($NG_{Edit}$) : Utilise un LLM (GPT-5.4) pour aider à éditer la règle de transformation pour une tâche spécifique. L'objectif est de générer une règle alternative qui est l'opposé sémantique de l'originale ou une variante proche menant à un comportement de transformation différent, garantissant que le négatif est structurellement similaire mais logiquement distinct.

2. Pipeline d'optimisation des préférences
Une fois les paires de préférence construites, le modèle est entraîné à l'aide de l'Optimisation Directe des Préférences (DPO). Contrairement au RLHF (Apprentissage par renforcement à partir de rétroaction humaine), qui nécessite un modèle de récompense explicite, le DPO optimise directement le modèle de politique $\pi_\theta$ pour attribuer une probabilité plus élevée à la sortie choisie ($y^+$) qu'à la sortie rejetée ($y^-$) par rapport à un modèle de référence $\pi_{ref}$. La fonction de perte est :
$$L_{DPO} = -E \left[ \log \sigma \left( \beta \log \frac{\pi_\theta(y^+|x)}{\pi_{ref}(y^+|x)} - \beta \log \frac{\pi_\theta(y^-|x)}{\pi_{ref}(y^-|x)} \right) \right]$$
Le modèle de politique est initialisé à partir d'un modèle SFT, et le modèle de référence est une copie gelée de ce modèle SFT.

Contributions clés

• Changement de paradigme de supervision : L'article soutient que l'amélioration du raisonnement ARC nécessite de dépasser la pure supervision par échantillons positifs pour inclure la discrimination d'échantillons négatifs, s'appuyant sur les principes de la science cognitive selon lesquels l'apprentissage implique d'identifier et de corriger les erreurs.
• Construction de négatifs à trois niveaux : La proposition d'une méthode systématique pour générer des échantillons négatifs informatifs via des transformations visuelles, l'inversion de règles DSL et l'édition de règles spécifiques aux tâches.
• Alignement de préférences pour ARC : L'application du DPO aux tâches ARC, démontrant que l'optimisation de la distinction entre les sorties correctes et les sorties incorrectes plausibles améliore les capacités de raisonnement.

Résultats expérimentaux

Les auteurs ont évalué DIARC sur six benchmarks : ARC-AGI-1, ARC-AGI-2, MiniARC, ConceptARC, 1D-ARC et ARCcommunity, en utilisant trois backbones de LLM open-source (Llama-3.2-3B, Mistral-NeMo-Minitron-8B et Qwen3-4B).

• Améliorations constantes : DIARC a systématiquement surpassé les modèles de base uniquement SFT sur tous les jeux de données et toutes les tailles de modèles.
• Performance de pointe (State-of-the-Art) : En utilisant le modèle Qwen3, DIARC a atteint 97,00 % de précision sur ARC-AGI-1 et 33,06 % sur ARC-AGI-2. Sur MiniARC et ConceptARC, il a atteint respectivement 97,32 % et 97,29 %.
• Comparaison : Ces résultats surpassent divers modèles spécialisés pour ARC (ex: HRM, GRAM, VARC) ainsi que de puissants LLM propriétaires (ex: GPT-4, o1-mini, Kimi K2.5).
• Ablation : Les expériences ont montré que les trois stratégies de construction de négatifs ont contribué aux gains de performance, la « Perturbation Aléatoire » (Random Perturb) et le « Décalage Rigide » (Rigid Shift) offrant souvent des améliorations significatives sur certains benchmarks spécifiques.

Signification et affirmations

L'article affirme que la capacité à distinguer les règles correctes des alternatives de type « quasi-réussite » plausibles est une compétence cruciale pour le raisonnement ARC, souvent négligée dans le SFT standard. En exploitant l'alignement de préférences, DIARC permet aux modèles d'apprendre non seulement quelle est la réponse, mais aussi pourquoi certaines alternatives plausibles sont incorrectes. Les auteurs déclarent que cette approche offre un moyen rentable d'améliorer les modèles open-source pour les amener à des niveaux compétitifs ou supérieurs aux systèmes propriétaires coûteux sur les tâches de raisonnement abstrait, sans nécessiter les coûts massifs d'inférence associés aux modèles de pointe. Le travail suggère que les futures améliorations du raisonnement ARC dépendront davantage de la qualité de la construction des échantillons négatifs et de l'optimisation des préférences que de la simple augmentation de la taille des données ou des modèles.