Résumé Technique : Le Compromis Vitesse–Profondeur chez les Agents Épistémiques pour ARC-AGI-3

1. Énoncé du Problème

L'article aborde le défi de l'induction interactive de règles au sein du benchmark ARC-AGI-3. Contrairement aux benchmarks statiques, ARC-AGI-3 place les agents dans des environnements nouveaux et tour par tour où les règles et les conditions de victoire sont cachées. Les agents doivent découvrir ces règles par l'interaction (actions et observations) sans instructions préalables.

La métrique de performance, RHAE (Rapport des Actions Humaines aux Actions IA, au carré), impose une pénalité quadratique sévère pour l'inefficacité. Si un agent utilise deux fois plus d'actions que la médiane humaine, il ne reçoit que 25 % de crédit. Les auteurs soutiennent que les modèles de pointe actuels échouent à ce benchmark non pas par manque de capacité de raisonnement, mais par manque de discipline épistémique : ils échouent à explorer l'environnement pour réduire l'incertitude avant de s'engager dans un plan.

De plus, l'article identifie un défaut critique dans l'ensemble d'évaluation public (25 jeux) : il échoue à distinguer l'exploration intelligente des heuristiques triviales. Les auteurs démontrent que chaque jeu public est soluble via des stratégies non intelligentes (par exemple, des actions uniques aveugles, des actions répétées avec un budget suffisant, ou l'exploitation d'une vulnérabilité de niveau bibliothèque liée aux coordonnées nulles). Par conséquent, l'ensemble public ne peut valider si un agent possède une véritable intelligence exploratoire ; seul l'ensemble privé de 55 jeux sert de test valide.

2. Méthodologie

Cadre Théorique : Compromis Vitesse–Profondeur

Les auteurs formalisent l'interaction entre la Vitesse (efficacité des actions, $1/A_E$) et la Profondeur (gain d'information par action, $\Delta H(b)/a$).

• Frontière de Pareto : Ils postulent qu'une politique optimale réside sur une frontière de Pareto entre Vitesse et Profondeur.
• Hypothèse de Convexité (A1) : En supposant que la frontière est convexe, la métrique RHAE agit comme une pénalité du second ordre pour toute déviation de cette frontière.
• Implication : Les agents qui sautent l'exploration (Profondeur = 0) ou qui sur-explorent (coût de Vitesse excessif) encourrent des pénalités quadratiques. La stratégie optimale implique un équilibre « Vitesse–Profondeur » où le budget d'exploration est proportionnel à la ligne de base humaine.

Architecture : AERA (Agent de Raisonnement Épistémique Adaptatif)

AERA implémente une architecture en trois phases conçue pour naviguer dans le compromis Vitesse–Profondeur :

1. EXPLORER (Mode Profondeur) : L'agent effectue des actions pour réduire l'entropie de croyance ($H(b_t)$). Les actions sont sélectionnées pour maximiser le gain d'information attendu. La phase se poursuit jusqu'à ce que le proxy d'entropie (longueur du champ UNCERTAIN dans la sortie du LLM) tombe en dessous d'un seuil $\theta$.
   • Heuristique de Budget : Le budget d'exploration $B_{max}$ est défini empiriquement à environ 40 % du nombre médian d'actions humaines ($\alpha \approx 0.4$).
2. VÉRIFIER : L'agent effectue 1 à 3 actions ciblées pour falsifier l'hypothèse actuelle du Maximum A Posteriori (MAP). Si elle est falsifiée, il réintègre la phase EXPLORER.
3. PLANIFIER + EXÉCUTER (Mode Vitesse) : Une fois l'incertitude faible, l'agent s'engage dans un plan basé sur l'hypothèse vérifiée. L'exécution est annulée et réintègre EXPLORER si des observations inattendues se produisent.

Détails de l'Implémentation

• Modèles : Les expériences utilisent Qwen2.5-0.5B et Qwen2.5-1.5B.
• Proxy d'Entropie : Au lieu d'un filtre particulaire formel, AERA utilise la longueur de la sortie structurée UNCERTAIN du LLM comme proxy heuristique de l'entropie de croyance.
• Soumission au Concours : Une soumission distincte (solveur BFS avec cache de pré-résolution hors ligne) implémente le même principe « EXPLORER avant de PLANIFIER » sans API LLM, obtenant un RHAE de 0,30 sur l'ensemble privé.

3. Résultats Clés

Performance Empirique sur les Jeux Publics (25 Jeux)

• AERA (0.5B, b=1) : Atteint un RHAE = 0,2116, résolvant 4/25 jeux (VC33, FT09, LP85, S5I5).
• Lignes de Base :
  • Aléatoire : RHAE = 0,0000 (0/25 résolus).
  • Sans Exploration (B1) : RHAE = 0,0000 (0/25 résolus). Le modèle 0.5B échoue à générer un plan sans une hypothèse explicite formée durant l'exploration.
• Interaction des Capacités du Modèle :
  • Sur un sous-ensemble de 5 jeux, le modèle 0.5B avec exploration (b=1) atteint un RHAE de 0,5290, tandis que le modèle 1.5B sans exploration atteint 0,2645.
  • De manière surprenante, le modèle 1.5B avec une exploration de 1 étape forcée (b=1) obtient un score de 0,0000, performant moins bien que son homologue sans exploration. Les auteurs émettent l'hypothèse que les modèles plus grands ont des distributions d'actions plus concentrées, les rendant moins susceptibles de déclencher accidentellement des conditions de victoire fortuites (comme la victoire en une action de FT09) par rapport au modèle 0.5B plus diffus.

Analyse de la Validité du Benchmark

Une investigation systématique des 25 jeux publics révèle :

• 10 jeux sont solubles en une seule étape aveugle (5 via ACTION6, 5 via d'autres actions aveugles).
• 5 jeux nécessitent ACTION6 après une seule sonde.
• 1 jeu nécessite une exploration diversifiée.
• 1 jeu est soluble par la répétition de ACTION1.
• 8 jeux sont solubles en répétant une seule action 50 à 200 fois (contrainte de budget).
• 18 jeux peuvent être contournés en 1 étape via une vulnérabilité de coordonnées nulles (appeler ACTION6 avec x=None, y=None déclenche une exception de bibliothèque mal classée comme une victoire).
• Conclusion : L'ensemble public ne peut pas discriminer l'exploration intelligente des heuristiques triviales. Le véritable test d'intelligence reste l'ensemble privé de 55 jeux.

Résultats du Concours

L'entrée de la piste de code liée (implémentation basée sur BFS du principe explorer-d'abord) atteint un RHAE = 0,30 sur l'évaluation privée complète de 55 jeux, surpassant le meilleur résultat communautaire rapporté d'environ 12,58 % au moment de la rédaction.

4. Signification et Revendications

L'article fait trois contributions principales :

1. Théorique : Il interprète la métrique quadratique RHAE comme une pénalité de frontière de Pareto Vitesse–Profondeur. Sous une hypothèse de convexité (prouvée pour une classe d'environnements à information uniforme), la métrique pénalise mathématiquement les agents qui échouent à équilibrer le gain d'information avec l'efficacité des actions.
2. Architecturale : Il introduit AERA, un cadre qui gère explicitement la transition de l'exploration à la planification basée sur l'entropie de croyance. Cela démontre que l'exploration est nécessaire pour que les petits modèles (0.5B) atteignent un RHAE non nul, tandis que les modèles plus grands (1.5B) peuvent s'appuyer sur des a priori mais souffrent toujours si l'exploration est forcée incorrectement.
3. Empirique/Critique du Benchmark : Il fournit une critique rigoureuse de l'ensemble d'évaluation public d'ARC-AGI-3, montrant qu'il est invalide pour mesurer l'exploration car tous les jeux sont accessibles via des stratégies non intelligentes. Les auteurs soutiennent que l'écart entre les performances humaines et celles de l'IA n'est pas un écart de raisonnement mais un écart de discipline épistémique.

Revendications Modestes :

• Les auteurs ne revendiquent pas qu'AERA résout le problème général d'ARC-AGI-3 ou atteint la cible de 85 %.
• L'heuristique de budget d'exploration ($\alpha \approx 0.4$) est un ajustement empirique, non une loi dérivée.
• L'hypothèse de convexité (A1) n'est pas prouvée pour tous les environnements, seulement pour une classe spécifique.
• La victoire par « coordonnées nulles » est rapportée comme une vulnérabilité du benchmark, non comme une stratégie intelligente, et est exclue des comparaisons RHAE légitimes.

L'article conclut que le principe « EXPLORER avant de PLANIFIER » est un mécanisme fondamental pour le comportement de premier contact dans des environnements nouveaux, et que les progrès futurs vers l'AGI nécessitent des architectures qui gèrent explicitement le compromis entre la collecte d'informations et l'efficacité des actions.