Resumen Técnico: Benchmarking de la Inferencia de Interacción Visual UI2App

Declaración del Problema

Si bien los Modelos de Lenguaje Extensos (LLMs) y los Modelos de Lenguaje-Visión (VLMs) han demostrado una competencia creciente en la generación de páginas web a partir de lenguaje natural o capturas de pantalla únicas, los enfoques existentes sufren limitaciones significativas. Los paradigmas basados en texto dependen de prompts complejos que luchan por especificar con precisión diseños visuales detallados y coherencia visual entre páginas. Por el contrario, los paradigmas impulsados por imágenes (screenshot-to-code) se han centrado principalmente en la fidelidad visual —midiendo qué tan cerca está el resultado renderizado de una imagen de referencia— mientras que descuidan la inferencia de interacción.

Los benchmarks actuales suelen producir artefactos que son visualmente correctos pero conductualmente inertes, como "fachadas congeladas". No logran evaluar si la aplicación generada puede recuperar comportamientos dinámicos, gestión de estados e interacciones entre páginas basándose únicamente en evidencia visual estática. Existe una brecha crítica en la medición de la capacidad de un modelo para inferir la lógica de interacción faltante (por ejemplo, persistencia de estado entre rutas, operaciones CRUD de datos) sin especificaciones explícitas basadas en texto o demostraciones.

Metodología

El Benchmark UI2App

Los autores introducen UI2App, el primer benchmark dirigido específicamente a la inferencia de interacción: la capacidad de recuperar el comportamiento de una aplicación a partir de capturas de pantalla por sí solas, sin ninguna guía textual o conductual.

• Construcción del Dataset: El benchmark consta de 327 capturas de pantalla organizadas en 45 conjuntos de capturas de pantalla coherentes de estado. Estos conjuntos representan aplicaciones web ejecutables y de múltiples rutas en cuatro categorías: Contenido, Administración, Transacción y Especialidad.
• Fuente: Las capturas de pantalla se seleccionaron de proyectos de código abierto en GitHub, filtradas por licencias permisivas, validez estructural y capacidad de construcción (buildability).
• Definición de la Tarea: Se le entregan a los modelos un conjunto de $M$ capturas de pantalla (de 4 a 14 por tarea) que capturan distintas rutas o estados visuales. No se proporcionan trazas de acción ni descripciones de interacción. El modelo debe generar código fuente (React + TypeScript) para una aplicación ejecutable que reproduzca las capturas de pantalla y sus comportamientos implícitos.

Protocolo de Evaluación

La evaluación es un pipeline de extremo a extremo que califica los artefactos en cuatro dimensiones:

1. Ejecutabilidad (EXEC): Mide si el código se construye y se renderiza.
   • EXEC@1: Tasa de éxito en un solo intento (one-shot).
   • EXEC@3: Tasa de éxito tras hasta tres rondas de autodebugging utilizando retroalimentación de errores de construcción.
2. Alcance de Navegación (NRS): La fracción de las rutas de las capturas de pantalla de entrada que son alcanzables desde la ruta de inicio mediante la navegación visible en la aplicación generada.
3. Fidelidad Visual (VFS): Una métrica de emparejamiento a nivel de bloque sin necesidad de un juez, que compara el DOM renderizado con la referencia. Promedia cuatro sub-métricas: Tamaño, Texto, Posición y Color.
4. Puntuación de Inferencia de Interacción (IIS): La contribución central. El IIS cuantifica qué tan bien un modelo infiere y realiza las interacciones implícitas en la captura de pantalla.
   • Taxonomía: Las interacciones se categorizan en siete tipos (Toggle, Expandir/Colapsar, Operaciones de Lista, CRUD de Datos, Validación de Formularios, Notificación, Estado entre Rutas).
   • Alcance: Las interacciones se ponderan según la complejidad de la gestión de estado: S1 (estado de la UI), S2 (estado de los datos) y S3 (persistencia de estado entre rutas).
   • Calificación: A diferencia de los benchmarks anteriores que comparan contra un único rastro de referencia, el IIS utiliza un protocolo basado en rúbricas. Evalúa si la aplicación generada realiza los criterios funcionales de la interacción (disparador, transición de estado, resultado), acomodando implementaciones diversas pero semánticamente equivalentes.

Contribuciones Clave

1. Benchmark UI2App: Un dataset de 45 conjuntos de aplicaciones de múltiples rutas y coherentes de estado, diseñados para probar la inferencia de interacción a partir de entradas de solo imagen, yendo más allá de la reconstrucción visual estática.
2. Puntuación de Inferencia de Interacción (IIS): Una métrica novedosa fundamentada en una taxonomía de interacción y un peso basado en el alcance. Evalúa los comportamientos inferidos basándose en la corrección funcional y la complejidad de la gestión de estado, en lugar de coincidir con un único rastro de ejecución de verdad fundamental (ground-truth).
3. Evaluación Exhaustiva: El artículo establece las primeras líneas base para la inferencia de interacción basada solo en imágenes evaluando seis VLMs de frontera (incluyendo Claude Sonnet 4.6, Gemini 3.1 Pro, GPT-5.4, Kimi K2.5, Qwen3.5 y GLM-4.6V) y una escala ascendente de Qwen2.5-VL.

Resultados Experimentales

La evaluación de seis modelos de frontera revela un marcado desajuste de capacidad entre la reconstrucción visual y la realización de la interacción:

• Fidelidad Visual $\neq$ Inferencia de Interacción: El modelo que lidera en Fidelidad Visual (Gemini 3.1 Pro Preview, VFS=78.1) ocupa el cuarto lugar en IIS (7.5). Por el contrario, el líder de IIS (Claude Sonnet 4.6, IIS=39.3) ocupa el segundo lugar en VFS (75.7). El líder de IIS está 5.2 veces por delante del líder de VFS en la inferencia de interacción.
• Cuello de Botella del Estado entre Rutas: El desafío más significativo es el S3 (persistencia de estado entre rutas). Tres de los seis modelos puntuaron exactamente cero en esta dimensión. Incluso el mejor modelo (Claude) logró solo 21.6/100 en interacciones S3.
• Aplicaciones de Administración: Las aplicaciones de estilo administrativo demostraron ser un cuello de botella constante, produciendo el IIS medio más bajo (9.4) en todos los modelos.
• Comportamiento de Escalamiento: Dentro de la familia Qwen2.5-VL, se observó una "transición de fase" entre los parámetros de 32B y 72B, donde la ejecutabilidad y la fidelidad visual aumentaron bruscamente. Sin embargo, el escalamiento de parámetros por sí solo no saturó el requerimiento de la inferencia de interacción.
• Modos de Fallo: El análisis mostró que, aunque algunos modelos (por ejemplo, GPT-5.4) mejoraron significamente mediante el autodebugging de errores de construcción, esto no se tradujo en una mejor inferencia de interacción. Los fallos en la interacción a menudo surgían de contenedores de estado faltantes (por ejemplo, CartContext) o código muerto donde los elementos de la UI se renderizaban pero los manejadores (handlers) no estaban conectados.

Significado y Reivindicaciones

El artículo sostiene que inferir el comportamiento de interacción completo a partir de capturas de pantalla estáticas sigue siendo un desafío de frontera clave para los modelos de lenguaje-visión.

• Desacoplamiento de Capacidades: Los resultados demuestran que la fidelidad visual es un mal indicador de la realización de la interacción. Un modelo puede producir una réplica de píxeles perfectos que sea funcionalmente inerte.
• Más allá del Seguimiento de Especificaciones: A diferencia de los benchmarks donde la interacción se especifica explícitamente mediante texto o video, UI2App requiere que el modelo realice una inferencia de interacción —recuperando el comportamiento faltante a partir de pistas visuales por sí solas. Esto representa un cambio de "seguimiento de especificaciones" a "inferencia de la capacidad latente (affordance)".
• Dirección Futura: Los autores postulan que UI2App proporciona un banco de pruebas necesario para impulsar a los modelos hacia capacidades de inferencia más fuertes, abordando específicamente la brecha en la persistencia de estado entre rutas y la gestión de estados complejos en la que los modelos actuales fallan.

El artículo concluye que, si bien los modelos han avanzado en la generación de código, la capacidad de sintetizar aplicaciones interactivas y ejecutables a partir de evidencia visual estática sin guía conductual explícita aún no está resuelta, siendo la gestión de estado entre rutas el cuello de botella más generalizado.