ARC-AGI-2 Technical Report

Each language version is independently generated for its own context, not a direct translation.

Voici une explication de ce rapport technique, imagée et simplifiée, comme si nous discutions autour d'un café.

🧩 Le Défi : Le "Jeu de Puzzle" de l'IA

Imaginez que vous donnez à un enfant (ou à un robot) un puzzle visuel. Vous lui montrez deux ou trois exemples de ce qui doit être fait (par exemple : "si je prends ce carré rouge, je le déplace ici"), et vous lui demandez de résoudre un nouveau puzzle qui ressemble un peu, mais pas tout à fait.

C'est le défi de l'ARC (Abstraction and Reasoning Corpus). La plupart des intelligences artificielles actuelles sont comme des perroquets : elles apprennent par cœur des millions d'exemples. Mais ici, il n'y a pas de millions d'exemples. Il faut comprendre la règle, pas juste mémoriser le dessin. C'est comme demander à quelqu'un de deviner la loi de la gravité en regardant seulement une pomme tomber.

🚀 La Solution : L'Équipe de Wallyson et ses amis

Cette équipe a créé un système (un "cerveau" artificiel) capable de relever ce défi. Voici comment ils ont fait, en utilisant quatre astuces principales :

1. Le Traducteur Compact (L'Encodage)

Les ordinateurs n'aiment pas les grilles de pixels (des petits carrés de couleurs). Ils préfèrent les mots.

L'analogie : Imaginez que vous devez décrire un tableau de peinture à un ami au téléphone. Au lieu de dire "pixel rouge en haut à gauche, pixel bleu en dessous...", vous utilisez un code secret très court.
Ce qu'ils ont fait : Ils ont créé un langage ultra-court (125 symboles seulement) pour transformer les grilles de couleurs en une histoire que l'IA peut lire rapidement, comme un résumé d'un livre épais.

2. L'Entraînement par la "Variété" (L'Augmentation)

Le système a besoin de s'entraîner, mais il n'y a que quelques milliers de puzzles disponibles. C'est trop peu !

L'analogie : Si vous voulez apprendre à faire du vélo, vous ne vous entraînez pas seulement sur une seule route. Vous vous entraînez sur la pluie, le vent, la boue, et en changeant de direction.
Ce qu'ils ont fait : Ils ont créé des millions de "puzzles artificiels" en appliquant des transformations magiques :
- Symétrie : Ils retournent les puzzles (comme dans un miroir) ou les tournent.
- Cellular Automata (Automates) : Ils ajoutent du "bruit" ou changent les couleurs de manière logique, comme si le puzzle avait vieilli ou été vu sous un autre filtre.
- Traversées : Ils lisent la grille non pas ligne par ligne, mais en zigzag (comme un serpent). Cela force l'IA à comprendre la règle derrière le dessin, et non pas juste la position des pixels.

3. L'Adaptation en Temps Réel (Test-Time Training)

C'est l'astuce la plus brillante. D'habitude, une IA est entraînée une fois, puis elle est figée. Ici, l'IA apprend pendant qu'elle résout le puzzle.

L'analogie : Imaginez un détective qui arrive sur une scène de crime. Au lieu de se fier uniquement à sa mémoire, il prend 5 minutes pour lire les indices spécifiques de ce crime, ajuster sa théorie, et ensuite il résout l'enquête.
Ce qu'ils ont fait : Avant de donner la réponse finale, le système utilise les quelques exemples du puzzle pour se "recalibrer" légèrement (comme un ajustement de lunettes). Il devient un expert de ce puzzle précis, juste pour quelques secondes.

4. Le Jury de Symétrie (Le Scoring)

Une fois que l'IA a généré plusieurs solutions possibles, comment choisir la bonne ?

L'analogie : Imaginez que vous avez 100 candidats pour un rôle. Au lieu de les regarder une par une, vous les faites tourner sur une scène. Si le candidat est vraiment bon, il restera beau et cohérent quelle que soit l'angle de vue (de face, de dos, de profil). S'il est faux, il semblera bizarre sous certains angles.
Ce qu'ils ont fait : Le système prend chaque solution proposée, la tourne, la retourne, et vérifie si elle reste logique sous tous ces angles. La solution qui résiste le mieux à tous ces regards est choisie.

🏆 Le Résultat : Vers l'Intelligence Humaine ?

Leur système a obtenu d'excellents résultats, bien meilleurs que les précédents.

Ce que ça signifie : Ils ne se contentent pas de "deviner" par hasard. Leur IA commence à comprendre que le monde a des règles (la symétrie, la logique, la géométrie) et qu'elle peut les appliquer à de nouvelles situations.

En résumé :
Ils ont pris une IA, lui ont appris à voir le monde sous tous les angles (symétrie, zigzag), lui ont donné la capacité de s'adapter rapidement à chaque nouveau problème (comme un humain), et l'ont fait juger par un jury sévère qui vérifie la cohérence de la réponse. C'est un pas de géant vers une intelligence artificielle qui raisonne vraiment, et non pas qui se contente de mémoriser.

Each language version is independently generated for its own context, not a direct translation.

Voici un résumé technique détaillé du rapport sur l'ARC-AGI-2, basé sur le document fourni.

Titre du rapport : ARC-AGI-2 Technical Report

Auteurs : Wallyson Lemes de Oliveira et al.
Date : Novembre 2025

1. Problématique : Le défi du ARC-AGI

Le Abstract Reasoning Corpus (ARC) est un benchmark conçu par François Chollet pour évaluer l'intelligence artificielle générale (AGI). Contrairement aux tâches d'apprentissage automatique traditionnelles qui reposent sur de grands volumes de données et la reconnaissance de motifs, l'ARC exige :

Généralisation à partir de peu d'exemples : Les modèles doivent inférer des règles symboliques à partir de très peu d'exemples (souvent 3 à 5 paires entrée-sortie).
Raisonnement abstrait : Les tâches impliquent des transformations spatiales, de la logique, du comptage et de la symétrie, sans dépendre de connaissances de domaine externes.
Contraintes de l'ARC-AGI-2 : La version 2 (introduite en 2025) présente des grilles plus grandes (jusqu'à 30x30), plus de couleurs et des règles compositionnelles plus complexes, rendant les approches par force brute ou par langage spécifique (DSL) inefficaces.

Le défi principal réside dans le fait que les modèles de langage (LLM) standards ont tendance à mémoriser des motifs plutôt qu'à comprendre les règles sous-jacentes, ce qui entraîne une mauvaise généralisation sur des tâches inédites.

2. Méthodologie : Une approche hybride et adaptative

L'équipe propose un pipeline modulaire combinant un modèle de base pré-entraîné, une adaptation en temps réel et des stratégies de raisonnement structurel. L'architecture repose sur quatre piliers fondamentaux :

A. Architecture du Modèle : LongT5 Optimisé

Modèle de base : Utilisation de LongT5 (environ 200M de paramètres), une architecture encodeur-décodeur conçue pour les contextes longs.
Encodage compact : Les grilles sont transformées en séquences de tokens textuels. Pour éviter les artefacts de tokenisation (ex: fusion de chiffres), le vocabulaire a été réduit à 125 tokens atomiques (un par couleur + délimiteurs structurels).
Attention : Intégration de l'attention Transient Global (TGlobal) pour capturer les dépendances à longue distance dans les grilles, couplée à l'optimisation FlashAttention pour accélérer l'entraînement et l'inférence sur les séquences longues.

B. Entraînement Hors Ligne (Offline Training)

Pour pallier la petite taille du dataset ARC (1120 tâches publiques), l'équipe a conçu un pipeline d'entraînement sophistiqué :

Augmentation de données massive : Génération de plus de 2,3 millions de tâches synthétiques via :
- Symétries : Rotations et réflexions (groupe $D_4$ ).
- Automates cellulaires : Perturbations locales préservant la sémantique.
- Traversées de grilles : Représentation des grilles en "lignes" ou en "serpent" (zig-zag) pour briser les biais directionnels.
Apprentissage par Curriculum : Progression de la difficulté (ARC-AGI-1 $\rightarrow$ ARC-AGI-2).
Objectifs Multi-tâches :
- Training to Solve : Prédiction standard de la sortie.
- Training to Understand (UL2) : Reconstruction de parties masquées de la grille pour forcer la compréhension structurelle plutôt que la mémorisation.
Grokking : Prolongation de l'entraînement pour permettre au modèle de passer d'une mémorisation à une généralisation profonde (changement de régime spectral des poids).

C. Adaptation en Temps Réel (Test-Time Training - TTT)

C'est une contribution majeure. Au moment de l'inférence, pour chaque nouvelle tâche :

Le modèle subit un fine-tuning léger (quelques étapes de gradient) uniquement sur les exemples de démonstration de la tâche courante.
Utilisation de LoRA (Low-Rank Adaptation) pour mettre à jour un petit sous-ensemble de paramètres sans altérer les connaissances pré-entraînées.
Intégration d'une mémoire externe (base de vecteurs) pour récupérer des tâches similaires et guider l'adaptation.

D. Pipeline d'Inférence et de Scoring

Décodage : Génération de multiples candidats (environ 180 par tâche) via une recherche en faisceau (Beam Search).
Filtrage (White-box) : Élimination des candidats invalides selon des règles symboliques strictes (cohérence des couleurs, dimensions de la grille, inclusions d'objets).
Scoring par Symétrie (Mini-Arch) : Au lieu de choisir le candidat le plus fréquent, le système évalue la stabilité des candidats sous toutes les transformations géométriques (rotations, réflexions). Le meilleur candidat est celui qui maintient une cohérence logique maximale à travers toutes les perspectives.

3. Contributions Clés

Recette d'Entraînement Stratifiée : Combinaison de l'apprentissage par curriculum, de l'apprentissage multi-tâches (UL2) et du phénomène de "grokking" pour obtenir des représentations internes robustes.
Adaptation par TTT avec LoRA : Application novatrice du TTT sur ARC, permettant au modèle de s'adapter dynamiquement à la logique spécifique de chaque tâche sans oublier ses connaissances générales.
Augmentation de Données Structurelle : Introduction de priors de symétrie, d'automates cellulaires et de traversées alternatives (serpent) pour enseigner au modèle la règle de transformation plutôt que la représentation spatiale spécifique.
Scoring Invariant par Symétrie : Une méthode de classement des candidats qui privilégie la cohérence géométrique, imitant la capacité humaine à valider une solution sous différents angles.
Optimisation Système : Intégration de FlashAttention et gestion efficace de la mémoire pour fonctionner dans les contraintes strictes de l'environnement Kaggle (4x GPU L4, 12 heures).

4. Résultats

Performance : Le système atteint 27,08 % de précision sur l'ensemble d'évaluation semi-privé de Kaggle (pass@2), surpassant les solveurs neuronaux précédents et se rapprochant des performances humaines.
Analyse des Ablations :
- Le TTT est le composant le plus impactant (+33 points de score sans lui).
- Le Filtrage est indispensable pour éliminer les hypothèses invalides (chute de 14 points sans filtrage).
- Le Scoring par symétrie améliore la sélection finale de ~4 points par rapport au simple comptage d'occurrences.
- L'ajout de Traversées (serpent) apporte un gain de ~6 points, prouvant l'importance de la diversité de représentation.
Efficacité : Le système génère des hypothèses correctes pour environ 68 % des tâches (Upper Bound), mais le goulot d'étranglement reste le choix du meilleur candidat parmi ceux générés.

5. Signification et Implications

Ce travail démontre que la combinaison de l'apprentissage profond (LLM) avec des priors de connaissance structurée et des mécanismes d'adaptation en temps réel est une voie prometteuse vers l'AGI.

Au-delà de la reconnaissance de motifs : Le système ne se contente pas de reconnaître des patterns, il infère des règles abstraites et s'adapte dynamiquement.
Importance de la représentation : La manière dont les données sont présentées (traversées, symétries) influence profondément la capacité de raisonnement du modèle.
TTT comme alternative au contexte long : L'adaptation légère (LoRA) en temps réel permet d'internaliser de nouvelles informations sans nécessiter des fenêtres de contexte massives, ce qui est crucial pour les déploiements à ressources limitées.
Généralisation : Ces principes (TTT, mémoire externe, scoring invariant) sont applicables à d'autres domaines comme la génération de code, la vérification formelle et la robotique.

En conclusion, cette approche marque une avancée significative en montrant que l'intégration de l'induction symbolique et de l'adaptation neurale permet de combler l'écart entre les capacités actuelles des IA et le raisonnement humain flexible.