Spatial Atlas: Compute-Grounded Reasoning for Spatial-Aware Research Agent Benchmarks

1. El Problema

El desarrollo de agentes de investigación de propósito general capaces de operar en dominios diversos presenta desafíos fundamentales, especialmente en dos áreas críticas donde los Modelos de Lenguaje Grande (LLM) y los Modelos Visuales-Lingüísticos (VLM) actuales fallan:

• Razonamiento Espacial Inestable: En entornos industriales (fábricas, almacenes, retail), los VLMs tienden a alucinar relaciones espaciales, tienen dificultades para contar objetos con precisión y fallan en la estimación de distancias. Preguntas como "¿Cuántos pallets hay a menos de 3 metros de la salida de emergencia?" requieren una precisión que la generación puramente probabilística no puede garantizar.
• Ingeniería de ML Compleja: En competiciones de aprendizaje automático (como las de Kaggle), los agentes deben diseñar, ejecutar y refinar pipelines de ML completos. Los enfoques actuales a menudo carecen de mecanismos robustos para la recuperación de errores (self-healing), la detección de fugas de datos (data leakage) y la optimización iterativa basada en puntuaciones.
• Fragmentación de Arquitecturas: La mayoría de los sistemas existentes tratan estos dominios como problemas independientes, desperdiciando infraestructura compartida y perdiendo la oportunidad de aplicar principios de razonamiento unificados.

2. Metodología: Razonamiento Anclado en Computación (CGR)

El núcleo de la propuesta es el Razonamiento Anclado en Computación (Compute-Grounded Reasoning - CGR). Este paradigma establece que, siempre que un subproblema admita una solución determinista, la respuesta debe computarse primero y suministrarse como un hecho al LLM, en lugar de pedirle al modelo que la genere desde cero.

Arquitectura del Sistema (Spatial Atlas):
El sistema opera como un servidor Agent-to-Agent (A2A) que gestiona dos benchmarks principales mediante un único protocolo unificado:

• Motor de Gráfico de Escena Espacial (Spatial Scene Graph Engine):

  • Extracción: Utiliza un modelo VLM (GPT-4.1 Vision) para describir la escena y un modelo de detección de objetos ligero (Florence-2) para obtener cajas delimitadoras precisas y conteos.
  • Estructuración: Construye un gráfico de escena $G=(V, E)$ donde los vértices son entidades y las aristas son relaciones espaciales.
  • Cálculo Determinista: Ejecuta consultas lógicas (distancias euclidianas, conteos, verificación de restricciones de seguridad) sobre el gráfico. Estos hechos computados se inyectan en el prompt del LLM, eliminando la necesidad de que el modelo "adivine" la geometría.

• Razonamiento Guiado por Entropía:

  • Utiliza un marco teórico de la información para estimar la ganancia de información de cada acción.
  • Enrutamiento de Modelos de 3 Niveles:
    1. Rápido (GPT-4.1-mini): Para tareas simples y estimación de confianza.
    2. Estándar (GPT-4.1): Para razonamiento espacial sobre hechos y generación de estrategias.
    3. Fuerte (Claude Opus 4.6 - Anthropic): Se activa solo cuando la confianza es baja o para iteraciones de refinamiento complejas.
  • Reflexión: Si la confianza del modelo cae por debajo de un umbral ($\tau=0.6$), se desencadena un paso de reflexión (re-examinar el gráfico, cambiar de modelo) hasta un máximo de 2 rondas.

• Pipeline de ML Auto-Recuperable (Self-Healing ML Pipeline):

  • Generación de Código: Crea scripts de Python completos basados en plantillas de estrategia (Tabular, NLP, Visión, Series Temporales).
  • Auto-Recuperación: Si la ejecución falla, el sistema clasifica el error (importación, forma de datos, memoria), genera un parche de código y re-ejecuta (hasta 3 intentos).
  • Refinamiento Guiado por Puntuación: Tras una ejecución exitosa, el sistema lee la puntuación de validación y utiliza el modelo "Fuerte" para proponer mejoras estructurales (ej. cambiar de validación simple a K-fold, añadir codificación de objetivos). Se mantiene la mejor puntuación.
  • Registro de Auditoría de Fugas (Leak Audit Registry): Antes de entrenar, el sistema ejecuta una auditoría universal para detectar fugas de datos (solapamiento de IDs, huellas dactilares de filas, orden temporal, hash de archivos). Si se detecta una fuga conocida, inyecta instrucciones específicas para explotarla legalmente dentro del contexto de la competencia.

3. Contribuciones Clave

1. Motor de Gráfico de Escena Espacial: Elimina las alucinaciones espaciales al computar relaciones determinísticamente, logrando mejoras de precisión del 21-24% sobre VLMs puros.
2. Razonamiento Guiado por Entropía: Optimiza costos y calidad enrutando tareas a modelos de diferentes capacidades según la incertidumbre, activando modelos costosos solo cuando es necesario.
3. Pipeline de ML Auto-Recuperable: Garantiza una tasa de envío válido del 82% en competiciones de Kaggle mediante la detección y reparación automática de errores de código.
4. Bucle de Refinamiento por Puntuación: Mejora iterativamente las soluciones utilizando un modelo cruzado (Cross-Provider) para proponer cambios estructurales que un solo modelo podría pasar por alto.
5. Registro de Auditoría de Fugas: Un marco basado en prompts que detecta y adapta explotaciones de fugas de datos en tiempo de generación de código, evitando soluciones frágiles codificadas a mano.

4. Resultados

El sistema fue evaluado en dos benchmarks:

• FieldWorkArena (Razonamiento Espacial Multimodal):

  • El sistema completo alcanzó puntuaciones de 0.72 (Fábrica), 0.68 (Almacén) y 0.74 (Retail).
  • La ablación demostró que el motor de gráfico de escena es el componente más crítico, mejorando la precisión en más de 20 puntos porcentuales frente a un VLM directo.
  • El razonamiento guiado por entropía añadió una mejora consistente de 7-8 puntos al reducir la varianza en las respuestas.

• MLE-Bench (75 Competencias de Kaggle):

  • Tasa de Envío Válido: 82% en general (91% en tareas tabulares).
  • Tasa de Medalla: 32% de las competiciones alcanzaron un nivel de medalla.
  • El bucle de refinamiento mejoró la métrica de validación en el 35-40% de las iteraciones elegibles, aunque mostró rendimientos decrecientes después de la segunda iteración.
  • La auditoría de fugas fue efectiva en competiciones con solapamiento documentado (ej. "Random Acts of Pizza"), permitiendo puntuaciones cercanas a la perfección sin entrenamiento de modelo.

• Eficiencia de Costos:

  • El enrutamiento inteligente mantiene el costo promedio por tarea bajo (ej. $0.18 para FieldWorkArena), activando el modelo costoso (Claude Opus) solo en el 8-12% de las preguntas espaciales y en el 40-55% de las iteraciones de refinamiento de ML.

5. Significado e Impacto

• Paradigma General (CGR): El artículo propone que el "Razonamiento Anclado en Computación" es un patrón de diseño esencial para agentes de IA confiables. Al separar la computación determinista de la generación probabilística, se logra una mayor interpretabilidad y fiabilidad.
• Unificación de Dominios: Demuestra que un solo agente puede manejar tareas visuales espaciales complejas y ingeniería de software/ML de alto nivel mediante una infraestructura compartida, rompiendo la silosización actual.
• Aplicaciones Industriales: El enfoque tiene implicaciones directas para la seguridad industrial, permitiendo la monitorización automatizada de distancias de seguridad y cumplimiento de normativas con una precisión que los VLMs puros no pueden ofrecer.
• Reproducibilidad: El código fuente es de código abierto, fomentando la investigación futura en arquitecturas de agentes ancladas en computación.

En conclusión, Spatial Atlas no es solo un agente más, sino una validación de que la integración de herramientas de computación determinista dentro de flujos de trabajo de agentes LLM es el camino para superar las limitaciones de alucinación y falta de robustez en tareas del mundo real.