ARC-AGI-3: A New Challenge for Frontier Agentic Intelligence

Ce papier présente ARC-AGI-3, un nouveau benchmark interactif évaluant l'intelligence agentique par des environnements abstraits sans langage où les systèmes d'IA actuels obtiennent moins de 1 % de réussite, contrairement aux humains qui résolvent 100 % des tâches.

L'essentiel

🧠 ARC-AGI-3 : Le nouveau "Grand Échec" pour les Intelligences Artificielles

Imaginez que vous êtes un explorateur qui arrive sur une île inconnue. Vous n'avez ni carte, ni guide, ni manuel d'instructions. Vous devez simplement regarder autour de vous, comprendre comment fonctionne l'île, deviner ce qu'il faut faire pour gagner, et agir intelligemment pour y parvenir.

C'est exactement ce que ARC-AGI-3 demande aux intelligences artificielles (IA) de faire. C'est un nouveau défi créé par la ARC Prize Foundation pour tester si les IA sont vraiment intelligentes, ou si elles ne font que répéter ce qu'elles ont appris par cœur.

1. Le Problème : Les IA sont devenues des "Parrots" (Perroquets)

Dans le passé (avec les versions 1 et 2 du test), les IA apprenaient à résoudre des énigmes statiques (comme des puzzles sur papier). Mais les chercheurs ont remarqué un problème : les IA modernes sont devenues si puissantes qu'elles ont fini par "apprendre par cœur" les énigmes du test, comme un élève qui mémorise les réponses d'un examen au lieu de comprendre la leçon.

• L'analogie : C'est comme si un étudiant apprenait les réponses d'un QCM par cœur. Il obtient 20/20, mais s'il doit résoudre un problème similaire mais légèrement différent, il est perdu.
• La solution : ARC-AGI-3 change la donne. Au lieu de puzzles fixes, on donne aux IA des jeux interactifs. Ils doivent explorer, se tromper, apprendre de leurs erreurs et s'adapter en temps réel.

2. Le Défi : Jouer sans règles écrites

Dans ce nouveau test, l'IA se retrouve dans un monde virtuel (une grille de 64x64 cases colorées).

• Pas de mode d'emploi : On ne lui dit pas "Gagnez le jeu". Elle doit elle-même deviner l'objectif.
• Pas de langage : Pas de mots, pas de chiffres, pas de symboles culturels (pas de "rouge = stop"). Juste des formes, des couleurs et des mouvements.
• Les 4 piliers de l'intelligence : Pour réussir, l'IA doit faire quatre choses :
  1. Explorer : Toucher, essayer, voir ce qui se passe.
  2. Modéliser : Se faire une image mentale de comment le monde fonctionne (ex: "Si je pousse ce bloc, il tombe").
  3. Se fixer un but : Deviner ce qu'il faut faire pour gagner.
  4. Planifier : Trouver le chemin le plus court pour atteindre ce but.

3. La Règle du Jeu : L'Efficacité avant tout

Dans ce test, ce n'est pas seulement "qui gagne" qui compte, mais "comment" on gagne.

• L'analogie de la course : Si deux coureurs arrivent à l'arrivée, mais que l'un a couru 100 km pour y arriver et l'autre 10 km, le deuxième est plus intelligent.
• Le score : L'IA est notée sur son efficacité. Combien de coups (actions) a-t-elle fallu pour résoudre le jeu ?
  • Si un humain moyen fait 10 coups pour gagner, et que l'IA en fait 100, elle est considérée comme très inefficace (et donc peu intelligente).
  • Le but est d'atteindre l'efficacité d'un humain.

4. Les Résultats Actuels : Un Écart Gouffre

C'est ici que ça devient intéressant (et un peu inquiétant pour les fans de science-fiction).

• Les Humains : Les chercheurs ont fait tester le jeu à des centaines de personnes ordinaires. 100% des humains ont réussi à résoudre les jeux, souvent en quelques minutes.
• Les IA de pointe (2026) : Les meilleures IA du monde (comme Gemini, GPT, etc.) ont obtenu un score inférieur à 1%.
  • Pourquoi ? Parce qu'elles ne savent pas encore explorer un monde inconnu sans avoir vu des exemples similaires auparavant. Elles sont bloquées par le manque de "bon sens" et de capacité à s'adapter à l'imprévu.

5. Pourquoi c'est important ?

ARC-AGI-3 est conçu comme un miroir pour l'intelligence artificielle.

• Si une IA peut réussir ce test, cela signifie qu'elle a acquis une forme d'intelligence générale : elle peut apprendre n'importe quelle nouvelle compétence aussi vite qu'un humain, sans avoir besoin de milliers d'exemples.
• Pour l'instant, les IA sont comme des super-calculatrices : elles sont rapides et puissantes, mais elles ne comprennent pas vraiment le monde qui les entoure. Elles ont besoin d'un "guide" (un humain) pour les tenir par la main.

En résumé

ARC-AGI-3 est un nouveau jeu vidéo très spécial où l'IA doit apprendre à jouer sans règles, sans dictionnaire et sans répétition. C'est le test ultime pour savoir si une machine peut vraiment penser et s'adapter, ou si elle ne fait que réciter ce qu'elle a appris.

Pour l'instant, les humains gagnent haut la main. Les IA ont encore beaucoup de travail à faire pour devenir les véritables "agents intelligents" dont nous rêvons dans les films.

Résumé technique

Résumé Technique : ARC-AGI-3 – Un Nouveau Défi pour l'Intelligence Agentique de Pointe

1. Problématique et Contexte

Le papier introduit ARC-AGI-3, une nouvelle série de benchmarks interactive conçue pour évaluer l'intelligence agentique (agentic intelligence). Alors que les versions précédentes (ARC-AGI-1 et 2) se concentraient sur l'inférence de règles à partir de données statiques (grilles d'entrée/sortie), ARC-AGI-3 vise à combler le "fossé résiduel" entre l'IA actuelle et l'Intelligence Artificielle Générale (AGI) humaine.

Les limites des approches précédentes :

• Surapprentissage et raccourcis : Les modèles de langage à grande échelle (LRM) actuels, bien qu'efficaces dans des domaines vérifiables (comme le code), souffrent d'une intelligence "jagged" (irrégulière). Ils dépendent fortement de la connaissance de domaine et peuvent surapprendre les benchmarks statiques via des raccourcis de mémorisation ou des données synthétiques générées spécifiquement pour le benchmark.
• Manque d'autonomie : Les systèmes actuels peinent à naviguer dans des "inconnus inconnus" (unknown unknowns) sans instructions explicites, sans objectifs préétablis et sans connaissance préalable du domaine.
• Évaluation statique : Les benchmarks statiques ne mesurent pas la capacité d'exploration active, de définition de buts ou de planification adaptative dans un environnement dynamique.

2. Méthodologie et Conception du Benchmark

2.1. Définition de l'Intelligence Agentique

ARC-AGI-3 évalue l'efficacité d'un agent à travers quatre composantes fonctionnelles clés :

1. Exploration : L'agent doit activement obtenir des informations en interagissant avec l'environnement (pas d'informations passives).
2. Modélisation : Construire un modèle interne des dynamiques de l'environnement à partir d'observations brutes.
3. Définition d'objectifs (Goal-Setting) : Identifier des états futurs désirables sans instructions explicites (inférer la condition de victoire).
4. Planification et Exécution : Mapper un chemin d'actions vers l'objectif, avec capacité de correction en temps réel.

2.2. Format de l'Environnement

• Interface : Environnements interactifs tour par tour (turn-based) pour privilégier le raisonnement hors ligne plutôt que les réflexes sensorimoteurs.
• Espace d'observation : Grilles de 64x64 cellules avec 16 couleurs possibles.
• Espace d'action : Un ensemble restreint d'actions (5 actions clés + annulation + sélection de coordonnées), garantissant que la complexité réside dans la logique et non dans le contrôle.
• Contraintes de conception :
  • Préconnaissances de base (Core Knowledge) uniquement : Pas de langage, pas de symboles culturels, pas de connaissances externes. Seuls les concepts d'objectité, de géométrie de base, de physique intuitive et d'agentivité sont utilisés.
  • Nouveauté : Chaque environnement est unique et distinct des jeux existants.
  • Structure : Chaque environnement contient au moins 6 niveaux, commençant par un niveau tutoriel facile, avec une difficulté croissante par composition de mécaniques.

2.3. Pipeline de Production et Validation

• Studio interne : Un studio de jeu dédié a créé les environnements avec un moteur personnalisé en Python (1000 FPS).
• Calibration humaine : Chaque environnement a été testé par 10 participants humains non formés. Seuls les environnements résolus à 100% par au moins deux humains (sans formation préalable) sont inclus.
• Validation automatique :
  • Tests de qualification (détection de bugs, chemins de récompense triviaux).
  • Analyse de l'espace d'états (graphes dirigés) pour estimer la probabilité de victoire aléatoire (seuil : < 1/10 000).

2.4. Métrique de Performance : RHAE (Relative Human Action Efficiency)

Contrairement aux métriques de précision, ARC-AGI-3 mesure l'efficacité des actions (nombre de coups/turns nécessaires pour résoudre un niveau).

• Formule : Le score est basé sur le rapport entre le nombre d'actions de l'IA ($a_{l,e}$) et la base humaine ($h_{l,e}$, définie comme le deuxième meilleur score humain).
• Loi de puissance : Le score est pondéré par le carré de l'efficacité : $S = \min(1, \frac{h}{a})^2$. Cela pénalise sévèrement les solutions inefficaces (ex: 100 actions pour un humain en 10 donne 1% de score).
• Pondération des niveaux : Les niveaux tardifs (plus difficiles) ont un poids plus important dans le score global de l'environnement.
• Comparaison : Le score final est une moyenne sur l'ensemble des environnements privés.

3. Résultats et Évaluation

3.1. Performance Humaine

• Solvabilité : 100% des environnements sont résolus par des humains.
• Efficacité : Le temps médian de résolution est d'environ 8 minutes par environnement. Les humains utilisent un nombre d'actions très proche de l'optimal après une phase d'exploration initiale.
• Données : 486 participants uniques, 2 893 tentatives, 427,9 heures de jeu enregistrées.

3.2. Performance des Systèmes d'IA (État de l'art en mars 2026)

Les résultats sont alarmants pour les modèles de pointe actuels :

• Scores globaux : Tous les modèles testés (Gemini 3.1, GPT-5, Opus 4.6, Grok-4) obtiennent des scores inférieurs à 1% sur l'ensemble privé.
  • Gemini 3.1 Pro: 0,37%
  • GPT-5.4: 0,26%
  • Opus 4.6: 0,25%
  • Grok-4.20: 0,00%
• Analyse des échecs : Les modèles peinent à inférer les objectifs sans instructions, à maintenir la cohérence sur de longues séquences d'actions et à adapter leur stratégie face à des mécaniques nouvelles. Ils tendent à "brute-forcer" (essais aléatoires) ou à échouer par manque de modélisation interne.

3.3. Risques de Surapprentissage

L'étude révèle que même les modèles entraînés sur des données massives peuvent être piégés par des raccourcis si les données d'entraînement sont trop similaires aux données de test. ARC-AGI-3 utilise un ensemble privé strictement hors distribution (OOD) par rapport aux données publiques et aux démonstrations, rendant la mémorisation inefficace.

4. Contributions Clés

1. Changement de paradigme : Passage d'un benchmark de raisonnement statique (ARC-AGI-1/2) à un benchmark d'intelligence agentique interactive.
2. Nouvelle métrique : Introduction de l'Action Efficiency (RHAE) comme mesure standardisée de l'intelligence, permettant une comparaison directe entre humains et machines basée sur l'efficacité des ressources (actions), et non seulement sur le succès binaire.
3. Robustesse contre le surapprentissage : Conception rigoureuse (nouveauté, OOD, calibration humaine) pour résister aux techniques de "data leakage" et de sur-optimisation des modèles.
4. Infrastructure de validation : Mise en place d'un pipeline complet incluant un moteur de jeu personnalisé, une validation par graphe d'états et une calibration humaine continue.
5. Compétition ARC Prize 2026 : Lancement d'une compétition avec un prix de 2 millions de dollars, divisée en deux pistes (ARC-AGI-3 et ARC-AGI-2), avec un leaderboard officiel strict (sans "harness" spécifiques) et un leaderboard communautaire.

5. Signification et Conclusion

ARC-AGI-3 représente une étape critique dans l'évaluation de l'AGI. Il démontre que malgré les progrès des modèles de raisonnement (LRM) dans des domaines vérifiables (comme la programmation), l'IA reste incapable de faire preuve d'une intelligence fluide et adaptative dans des environnements nouveaux et non structurés.

• Signification pour la recherche : Le benchmark met en lumière que l'efficacité de l'adaptation (apprendre de zéro, définir ses propres buts, planifier) est le véritable indicateur de l'intelligence générale, et non la simple accumulation de connaissances.
• Avenir : Pour atteindre l'AGI, les systèmes devront non seulement raisonner, mais aussi explorer activement, réviser leurs hypothèses et planifier efficacement face à l'incertitude, sans dépendre de scaffolding humain ou de connaissances pré-entraînées.

En mars 2026, ARC-AGI-3 reste le seul benchmark généraliste d'intelligence agentique non saturé, servant de référence indispensable pour mesurer les progrès réels vers une intelligence artificielle véritablement générale.