Spatial Atlas: Compute-Grounded Reasoning for Spatial-Aware Research Agent Benchmarks

1. Problématique

Le développement d'agents de recherche généralistes capables de fonctionner de manière autonome sur des tâches du monde réel reste un défi majeur en intelligence artificielle. Bien que les grands modèles de langage (LLM) aient démontré des capacités de raisonnement impressionnantes, leur déploiement en tant qu'agents fiables souffre de deux limitations critiques :

1. Le raisonnement spatial halluciné : Les modèles vision-langage (VLM) actuels échouent souvent sur des tâches nécessitant une estimation précise des distances, un comptage d'objets ou la vérification de contraintes spatiales (ex: "Combien de palettes sont à moins de 3 mètres de la sortie de secours ?"). Ils tendent à halluciner des relations spatiales au lieu de les calculer.
2. La fragmentation des architectures : Les benchmarks existants, tels que FieldWorkArena (raisonnement spatial multimodal dans des environnements industriels) et MLE-Bench (ingénierie ML end-to-end sur 75 compétitions Kaggle), sont généralement traités par des systèmes spécialisés distincts, gaspillant ainsi l'infrastructure partagée et les insights architecturaux.

L'objectif est de créer un agent unique capable de résoudre ces deux types de problèmes complexes avec fiabilité, interprétabilité et efficacité des coûts.

2. Méthodologie : Le Raisonnement Ancré par le Calcul (CGR)

L'approche proposée, Spatial Atlas, repose sur un paradigme de conception appelé Compute-Grounded Reasoning (CGR). Le principe fondamental est le suivant : là où un sous-problème admet une solution déterministe, le système doit d'abord calculer la réponse et fournir ce fait au modèle de langage, plutôt que de demander au modèle de générer la réponse directement.

L'architecture est hébergée sur un serveur Agent-to-Agent (A2A) unique qui gère deux domaines via un classificateur de domaine :

A. Moteur de Graphes de Scène Spatiale (Spatial Scene Graph Engine)

Pour les tâches de FieldWorkArena, le système évite le raisonnement direct par le VLM en trois étapes :

1. Extraction : Un VLM (GPT-4.1) génère une description textuelle, puis un modèle de vision léger (Florence-2) effectue une détection d'objets précise pour obtenir des boîtes englobantes et des comptages.
2. Construction du graphe : Les entités sont formalisées dans un graphe $G=(V, E)$ où les nœuds sont des entités spatiales et les arêtes des relations calculées (distances euclidiennes, zones sémantiques).
3. Calcul déterministe : Des requêtes spécifiques (ex: query_near, check_constraints) sont exécutées sur le graphe pour produire des faits vérifiables. Ces faits sont injectés dans le prompt du LLM, éliminant ainsi l'incertitude spatiale.

B. Raisonnement Guidé par l'Entropie

Un module de sélection d'actions utilise l'information théorique pour maximiser le gain d'information tout en minimisant les coûts :

• Estimation de la confiance : Le système évalue la confiance ($\sigma$) d'une réponse candidate.
• Routage à 3 niveaux :
  • Rapide (GPT-4.1-mini) : Pour les tâches à haute confiance.
  • Standard (GPT-4.1) : Pour les tâches modérées.
  • Fort (Claude Opus 4.6) : Déclenché uniquement en cas de faible confiance ou pour des itérations de raffinement complexes.
• Réflexion : Si la confiance est inférieure à un seuil ($\tau=0.6$), le système déclenche une étape de réflexion (ré-examen du contexte, changement de modèle) limitée à 2 tours pour éviter l'explosion des coûts.

C. Pipeline ML Auto-Cicatrisant (Self-Healing ML Pipeline)

Pour MLE-Bench, le système génère du code Python pour les compétitions Kaggle :

• Génération de stratégie : Création de scripts complets basés sur des modèles de stratégie (Tabular, NLP, Vision, etc.).
• Boucle d'auto-cicatrisation : En cas d'erreur d'exécution (import, shape de données, etc.), le système analyse la trace d'erreur, génère un correctif ciblé et ré-exécute le script (jusqu'à 3 itérations).
• Raffinement guidé par le score : Après un premier succès, un modèle "Fort" (Claude) propose des améliorations structurelles (ex: passage d'une validation simple à une K-fold, encodage cible). Le système conserve la soumission ayant le meilleur score.
• Audit de fuite de données (Leak Audit) : Un mécanisme détecte les fuites de données entre l'entraînement et le test (chevauchement d'ID, empreintes de lignes, ordre temporel) et injecte des indices dans le prompt pour permettre au modèle d'exploiter ces fuites légalement si elles existent.

3. Contributions Clés

1. Moteur de Graphes de Scène Spatiale : Élimine les hallucinations spatiales en remplaçant l'estimation visuelle par des calculs déterministes sur des représentations structurées.
2. Raisonnement Guidé par l'Entropie : Cadre d'information théorique pour sélectionner les actions et router les requêtes vers les modèles appropriés, optimisant le rapport coût/précision.
3. Pipeline ML Auto-Cicatrisant : Système de génération de code avec détection et réparation automatique des erreurs, assurant un taux de soumission valide élevé.
4. Boucle de Raffinement Guidée par le Score : Utilisation itérative d'un modèle fort pour améliorer les pipelines fonctionnels, avec un mécanisme de retour en arrière (rollback) si la performance diminue.
5. Registre d'Audit de Fuites : Détection proactive des fuites de données (train/test) et adaptation des stratégies d'exploitation par le modèle.

4. Résultats

Les évaluations ont été menées sur les deux benchmarks :

• FieldWorkArena (Raisonnement Spatial) :

  • Le système complet atteint une précision de 72% (usine), 68% (entrepôt) et 74% (détail).
  • Ablation : L'ajout du moteur de graphe de scène améliore la précision de 21 à 24 points de pourcentage par rapport à un VLM pur (GPT-4V direct). Le prétraitement Florence-2 ajoute 7-10 points, et le raisonnement guidé par l'entropie ajoute 7-8 points.
  • Cela confirme que le goulot d'étranglement n'est pas le raisonnement du LLM, mais la perception spatiale brute.

• MLE-Bench (Ingénierie ML) :

  • Taux de soumission valide global : 82% sur 75 compétitions.
  • Taux de médaille (score compétitif) : 32% global, atteignant 42% sur les tâches tabulaires.
  • Le pipeline auto-cicatrisant sauve les pipelines qui échouent, tandis que la boucle de raffinement améliore les scores dans 35-40% des cas éligibles.

• Coûts et Latence :

  • Le routage intelligent maintient le coût moyen par tâche FieldWorkArena à 0,18 $ (45k tokens).
  • Pour MLE-Bench, le coût varie de 0,52 $ (sans raffinement) à 1,85 $ (avec raffinement), justifié par l'amélioration significative des scores.

5. Signification et Impact

• Paradigme Généralisable : Le CGR propose un modèle de conception réutilisable pour les agents IA : "calculer ce qui peut être calculé avant de générer". Cela rend les agents plus fiables, interprétables et moins sujets aux hallucinations.
• Efficacité des Coûts : L'utilisation stratégique de modèles plus faibles pour les tâches simples et de modèles forts uniquement pour les étapes critiques (réflexion, raffinement) permet de réduire les coûts tout en maintenant une haute performance.
• Applications Industrielles : L'approche par graphe de scène a un potentiel direct pour la sécurité industrielle (surveillance des distances de sécurité, placement d'équipements), offrant une alternative aux systèmes de vision purement basés sur l'apprentissage profond qui manquent de rigueur logique.
• Interopérabilité : La démonstration d'un serveur A2A unique gérant des domaines hétérogènes (vision spatiale et ingénierie logicielle) ouvre la voie à des architectures d'agents multi-domaines plus intégrées.

En conclusion, Spatial Atlas démontre que l'intégration de calculs déterministes et de représentations structurées au cœur du flux de raisonnement des agents permet de surmonter les limites fondamentales des LLM actuels, en particulier dans les domaines exigeant une précision factuelle et une robustesse opérationnelle.