Resumen Técnico: Escalamiento de la Interacción: Fundamentando el Tercer Eje del Cómputo en Tiempo de Prueba

Planteamiento del Problema

Los enfoques actuales para mejorar el rendimiento de los Modelos de Lenguaje Grande (LLM) en el tiempo de prueba (escalamiento en el tiempo de inferencia) se limitan a dos ejes "internos": Escalamiento de Razonamiento (dedicar más tokens para pensar durante más tiempo) y Escalamiento de Muestreo (generar múltiples intentos y seleccionar el mejor). El artículo argumenta que ambos métodos comparten un "techo interno" fundamental: dependen exclusivamente de los pesos congelados del modelo y del prompt original. En consecuencia, solo pueden reordenar o seleccionar información que el modelo ya posee; no pueden importar nueva información sobre el comportamiento real del artefacto.

Además, el artículo identifica una falla crítica en cómo se miden estas mejoras. La evaluación estándar para artefactos visuales y estructurales suele depender de Modelos de Lenguaje-Visión (VLM) que analizan capturas de pantalla. Los autores argumentan que esto carece de "fundamentación" (ungrounded) porque las capturas de pantalla son representaciones con pérdida que recortan el contenido fuera de la pantalla y ocultan pequeños solapamientos, lo que vuelve al juez estructuralmente ciego ante defectos específicos.

Metodología: Escalamiento de la Interacción y Fundamentación

El artículo propone un tercer eje: el Escalamiento de la Interacción. Esto implica un bucle cerrado donde el modelo propone un artefacto, un instrumento externo observa el comportamiento o la forma real del artefacto, y el modelo revisa basándose en esa observación.

La tesis central es que la Fundamentación (Grounding) es la variable gobernante para este eje y debe mantenerse en ambos lados del bucle:

1. Retroalimentación Fundamentada: La señal que impulsa la revisión debe provenir de un instrumento que observe el comportamiento real del artefacto (por ejemplo, ejecutar pruebas de código, medir cajas delimitadoras del DOM), no de la opinión de un modelo o de una vista con pérdida (como una captura de pantalla).
2. Evaluación Fundamentada: La métrica que califica el resultado debe utilizar la misma observación fundamentada. Si la métrica no está fundamentada (por ejemplo, un VLM leyendo una captura de pantalla), no puede detectar mejoras que existen en las partes del artefacto que la captura de pantalla oculta.

El Entorno Propuesto (Harness)

Los autores implementan un Entorno de Proponente–Revisor:

• Proponente: Un modelo de frontera congelado (ej. Claude Sonnet 4) genera un artefacto.
• Instrumento: Una herramienta determinista ejecuta, renderiza o mide el artefacto (ej. pytest para código, un navegador sin interfaz para la geometría del DOM).
• Revisor: El mismo modelo actúa como un agente de diagnóstico, convirtiendo la señal bruta del instrumento (ej. un error de trazado o una lista de cajas superpuestas) en una lista estructurada de defectos.
• Revisión: El proponente utiliza esta lista para revisar el artefacto.
• Selección: El bucle se repite hasta un límite, conservando la iteración con la puntuación fundamentada más alta.

El artículo distingue entre Retroalimentación No Fundamentada (opinión del modelo, VLM sobre captura de pantalla) y Retroalimentación Fundamentada (observación del instrumento). Introduce el Principio de Cobertura: la retroalimentación fundamentada solo ayuda en la medida en que el instrumento puede realmente observar el defecto específico. Por ejemplo, un linter (fundamentado en la forma estática) no puede arreglar errores de lógica en tiempo de ejecución, y una captura de pantalla (fundamentada en píxeles) no puede arreglar un desbordamiento fuera del lienzo (off-canvas overflow).

Contribuciones Clave

1. Un Marco de Fundamentación: El artículo formaliza una taxonomía de canales de retroalimentación, distinguiendo entre opiniones del modelo y observaciones del instrumento. Establece el Principio de Cobertura, prediciendo que la mejora está limitada por el alcance observacional del instrumento.
2. Demostración de Escalamiento Más Allá de los Techos Internos: Los autores muestran que mientras las estrategias de solo razonamiento y de muestreo best-of-N se estancan en un presupuesto de tokens fijo, las estrategias de interacción continúan mejorando, alcanzando tasas de éxito perfectas donde los métodos internos fallan.
3. La Necesidad de Métricas Fundamentadas: El artículo demuestra que las métricas no fundamentadas (específicamente los VLM leyendo capturas de pantalla) no detectan mejoras en artefactos visuales e incluso pueden causar regresiones (empeorando los diseños) cuando se usan como revisores.
4. Eficiencia Arquitectónica: Se demuestra que el entorno proponente–revisor es más eficiente en términos de tokens y más confiable (varianza de semilla cero) en comparación con los bucles de un solo agente o los enfoques de muestreo y selección.

Resultados

El estudio evalúa el entorno a través de siete modalidades (Código, Figuras Académicas, Diapositivas, Páginas Web, Animaciones, Edición de Video, Investigación Profunda) utilizando un presupuesto de tokens fijo.

• Tareas de Código: En suites de codificación difíciles (incluyendo una suite de "especificación profunda" de implementaciones desde cero), el bucle de retroalimentación de ejecución fundamentada logra una tasa de éxito del 100%, recuperando cada fallo de disparo único (single-shot). En contraste, el razonamiento puro y el muestreo best-of-N verificado por un oráculo se estancan significativamente por debajo del 100% (ej. el best-of-N con un verificador oráculo se limita a ~86.7% en las tareas más difíciles). El entorno proponente–revisor logra esto con aproximadamente un 28% menos de tokens que otras estrategias de interacción y con cero varianza de semilla a semilla.
• Artefactos Visuales (Figuras, Diapositivas, Web, Animaciones):
  • El Efecto del "Juez Ciego": Un juez VLM estándar que lee capturas de pantalla calificó 14 de 15 figuras académicas visiblemente rotas como "perfectas" porque los defectos (texto superpuesto, contenido fuera de la pantalla) fueron recortados de la imagen.
  • Mejora Fundamentada: Al usar un instrumento de geometría de DOM determinista para medir defectos de diseño, el bucle de interacción redujo los defectos entre un 40–74% en las cuatro modalidades visuales.
  • Regresión con Revisores No Fundamentados: Cuando se usó un revisor VLM (leyendo capturas de pantalla) para revisar diapositivas, este aumentó el número de defectos geométricos, mientras que el revisor de instrumentos de geometría los redujo en un 73%.
• Agnosticismo del Modelo: Los resultados se mantienen a través de diferentes familias de modelos (Sonnet 4, Qwen3-235B, GPT-5), con el techo revisado alcanzando consistentemente una tasa de éxito del 100% o la máxima reducción de defectos independientemente de la semilla inicial.
• Destilación: Un modelo estudiante de 8B destilado de las trayectorias de interacción del profesor recuperó ~51% de la capacidad de muestra única del profesor y ~70% con dos muestras, lo que sugiere que la calidad de la interacción puede interiorizarse parcialmente, aunque el entorno fundamentado sigue siendo necesario para el rendimiento total.

Significado y Reivindicaciones

El artículo afirma que el Escalamiento de la Interacción es un tercer eje de cómputo en tiempo de prueba distinto y necesario, separado del razonamiento y el muestreo. Su importancia radica en dos ideas principales:

1. Romper el Techo de Información: La interacción permite a los modelos importar información que no poseen (el comportamiento real de un artefacto), rompiendo el límite donde el escalamiento interno simplemente reordena la información conocida.
2. El Rol Crítico de la Fundamentación: El artículo sostiene que el escalamiento de la interacción solo es visible y efectivo cuando tanto la señal de retroalimentación como la métrica de evaluación están fundamentadas. Sin una métrica fundamentada, las mejoras en tareas visuales y estructurales son invisibles para los estándares de evaluación, y los revisores no fundamentados pueden degradar activamente la calidad.

Los autores concluyen que la lección práctica para el campo no es simplemente "añadir más bucles", sino "fundamentar el bucle". Para los artefactos visuales, esto significa específicamente medir el DOM renderizado o ejecutar el código, en lugar de confiar en jueces VLM basados en capturas de pantalla, los cuales son estructuralmente ciegos a los defectos que el escalamiento de la interacción está diseñado para corregir.