Resumen Técnico: EPIC-Bench

Enunciado del Problema

Aunque los Modelos Visuales-Lingüísticos de Gran Escala (VLM) se adoptan cada vez más como columnas vertebrales perceptuales para agentes encarnados, las evaluaciones existentes suelen depender de formatos de Preguntas y Respuestas (QA) o Preguntas de Opción Múltiple (MCQ). Los autores argumentan que estos protocolos permiten que los modelos exploten priores lingüísticos y razonamiento de sentido común en lugar de demostrar un anclaje visual genuino. Además, las evaluaciones tradicionales de anclaje visual suelen centrarse en la detección genérica de objetos con descripciones simples, sin capturar la percepción orientada a tareas y de granularidad fina requerida para las interacciones encarnadas en el mundo real (navegación y manipulación). Existe una carencia crítica de un marco de evaluación integral que evalúe sistemáticamente las capacidades perceptuales visuales de los VLM a lo largo de toda la pipeline de interacción encarnada.

Metodología

Diseño de EPIC-Bench

Para abordar estas brechas, los autores introducen EPIC-Bench (Benchmark de Percepción Encarnada), un benchmark de anclaje de granularidad fina que comprende 6,661 tuplas meticulosamente anotadas de (Imagen, Texto, Máscara). El benchmark se estructura en torno a tres etapas centrales de la pipeline de interacción encarnada:

1. Localización del Objetivo (TL): La base para la navegación y la manipulación, que evalúa la capacidad de localizar objetivos basándose en atributos multidimensionales. Esta categoría se subdivide en:
   • Atributos Básicos (BA): Reconocimiento de categoría de objeto, color, geometría, material, atributos relativos (tamaño/altura) y proyección.
   • Atributos Relacionados con el Espacio (SRA): Comprensión de la orientación (incluida la relativa al humano) y las relaciones espaciales.
   • Atributos Composicionales Encarnados (ECA): Reconocimiento de relaciones parte-todo, regiones parte-todo relacionadas con humanos, estados de objetos y descripciones coloquiales.
2. Navegación (NAV): Evaluación de la percepción para moverse hacia un objetivo. Las sub-tareas incluyen:
   • Detección de Suelo (GD): Identificación de regiones de suelo transitables.
   • Ruta Viable (FP): Razonamiento sobre rutas válidas desde una posición de cámara hacia un objetivo o entre dos objetivos, restringidas a áreas transitables.
   • Coincidencia Visual (VM): Localización del mismo objeto objetivo a través de diferentes puntos de vista en el mismo entorno.
3. Manipulación (MAN): Evaluación de la percepción para la interacción física directa. Las sub-tareas incluyen:
   • Región de Afordancia (AR): Identificación de regiones operativas específicas o áreas de uso de herramientas.
   • Relación de Contacto (CR): Localización de objetos basándose en estados de contacto con uno o varios objetos de referencia.
   • Región de Colocación (PR): Localización de áreas de colocación del objetivo y determinación de la viabilidad física de la colocación.

Construcción de Datos y Anotación

El conjunto de datos se curó a partir de 25 conjuntos de datos públicos disponibles que abarcan escenas genéricas, entornos interiores, vistas egocéntricas e imágenes desde la perspectiva del robot. La pipeline de anotación involucró:

• Filtrado: Uso de un conjunto de VLM de código abierto seguido de revisión manual para garantizar diversidad y complejidad (por ejemplo, incluyendo distractores para prevenir el aprendizaje de atajos).
• Anotación: Utilización de SAM3 (Segment Anything Model 3) para generar propuestas iniciales de máscaras, las cuales fueron refinadas manualmente por 20 anotadores humanos para lograr una verdad fundamental de alta fidelidad.
• Control de Calidad: Un proceso riguroso que involucra al menos dos rondas de inspección para resolver ambigüedades, corregir inconsistencias entre texto y máscaras, y eliminar muestras donde los objetivos pudieran identificarse trivialmente.

Estrategia de Evaluación

El benchmark evalúa 89 VLM líderes, categorizados en Modelos Propietarios, Modelos de Código Abierto y Modelos Fundacionales Encarnados.

• Protocolo: A diferencia de QA/MCQ, EPIC-Bench requiere que los modelos generen máscaras (aproximadas como cajas delimitadoras para la puntuación) y, cuando corresponda, conteos de instancias objetivo.
• Métricas: El sistema de puntuación comprende cuatro componentes:
  1. Puntuación de Localización: Intersección sobre Unión (IoU) entre las cajas delimitadoras predichas y las máscaras de verdad fundamental.
  2. Puntuación de Conteo: Precisión en predecir el número exacto de objetivos (precisión binaria para conteos estrictos, penalización suave para desviaciones).
  3. Puntuación de Ruta: Una métrica compuesta para rutas de navegación que evalúa la precisión de inicio/fin, transitabilidad, distancia y continuidad.
  4. Puntuación de Viabilidad: Un juicio binario sobre la viabilidad física de las acciones de manipulación (por ejemplo, estabilidad de la colocación).

Resultados Clave

La extensa evaluación de 89 modelos revela varias hallazgos críticos:

1. Dificultades Generales con el Anclaje Complejo: Los VLM actuales luchan universalmente con la alineación visual-textual compleja requerida para las interacciones físicas. Aunque los modelos avanzados de "pensamiento" muestran promesa, aún no resuelven los cuellos de botella centrales.
2. Cuellos de Botella Específicos:
   • Conteo de Múltiples Objetivos: Los modelos rinden a niveles cercanos a los humanos cuando hay exactamente un objetivo presente, pero se degradan significativamente en escenarios de cero objetivos o múltiples objetivos.
   • Relaciones Parte-Todo: Los modelos no logran anclar sub-regiones específicas de objetos basándose en el texto, lo que conduce a un rendimiento deficiente en tareas de Región de Afordancia.
   • Orientación Espacial: El rendimiento disminuye sustancialmente en tareas que requieren razonamiento espacial robusto y comprensión del marco de referencia (por ejemplo, "a la izquierda de la persona").
3. Rendimiento del Modelo:
   • Modelos Propietarios: Gemini-3-Pro y Gemini-3.1-Pro lograron las puntuaciones generales más altas (~54.8), con Gemini-3-Pro destacando en tareas de Ruta Viable (70.82).
   • Modelos de Código Abierto: Qwen3-VL-235B-A22B (con modo de pensamiento) logró el mejor resultado de código abierto (50.93).
   • Modelos Fundacionales Encarnados: Los modelos diseñados específicamente para tareas encarnadas (por ejemplo, RoboBrain, RynnBrain) generalmente rindieron peor en comparación con los VLM de propósito general, atribuido en gran medida a sus escalas de parámetros más pequeñas.
4. Impacto del Razonamiento y los Prompts:
   • Los modelos equipados con modos de razonamiento avanzados ("pensamiento") superaron consistentemente a sus contrapartes estándar.
   • Prompts Visuales: Proporcionar superposiciones de máscaras como prompts visuales mejoró significativamente el rendimiento de los modelos con capacidad de razonamiento, mientras que los modelos menos capaces a veces lucharon con la información densa, beneficiándose más de superposiciones de cajas delimitadoras más simples.
   • Restricciones de Tokens: Los modelos de "pensamiento" sufrieron de truncamiento de respuestas bajo presupuestos de tokens ajustados (4096 tokens), requiriendo presupuestos más grandes (8192 tokens) para aprovechar plenamente sus capacidades de razonamiento.

Significado y Afirmaciones

El artículo afirma que EPIC-Bench proporciona una base robusta y conocimientos accionables para avanzar en la próxima generación de modelos encarnados impulsados por visión. Al ir más allá de los atajos lingüísticos y centrarse en el anclaje a nivel de máscara, el benchmark expone limitaciones fundamentales en la alineación actual visión-idioma, específicamente en cuanto al razonamiento de múltiples objetos, la comprensión parte-todo y la detección de affordances físicas. Los autores afirman que su trabajo ofrece un camino claro para la investigación futura al identificar capacidades perceptuales específicas que requieren mejora para apoyar un despliegue encarnado confiable. El benchmark está disponible públicamente para facilitar la evaluación a gran escala y la reproducibilidad.