Resumen Técnico: PInVerify: Un Benchmark de Verificación de Instancias Activa para Embodied AI Offline

1. Definición del Problema

Los benchmarks actuales de IA embodied (por ejemplo, ObjectNav, OVON, PIN) evalúan principalmente la capacidad de un agente para navegar hacia las proximidades de una categoría de objeto objetivo o de una instancia especificada por lenguaje. Sin embargo, llegar a la vecindad del objetivo no garantiza que el agente haya identificado la instancia correcta. Las diferencias sutiles de atributos (por ejemplo, "taza blanca con flores" frente a "taza blanca con rayas") a menudo requieren una inspección de cerca y desde múltiples vistas para resolverse. Las métricas de navegación existentes tratan la llegada a la vecindad del objetivo como un éxito, ocultando un modo de fallo crítico donde el agente entrega el objeto incorrecto a pesar de haber llegado a la ubicación correcta.

El artículo identifica una brecha entre el éxito geométrico (llegar cerca del objetivo) y el éxito semántico (verificar la identidad de la instancia frente a una descripción detallada). Aunque algunos trabajos recientes insertan pasos de "verificación de objetivo" en las cadenas de navegación, la verificación permanece embebida en lugar de ser aislada como un problema de decisión independiente. Los autores abogan por la Verificación de Instancia Activa (AIV): una tarea en la que un agente, dado un objeto candidato y una descripción de lenguaje natural detallada, selecciona activamente una secuencia de puntos de vista para decidir si el objeto coincide con la descripción.

2. Metodología y Diseño del Benchmark

2.1. La Formulación de la Tarea AIV

La AIV se formaliza como un proceso de decisión de horizonte finito. Un episodio se define mediante una tupla $(Q, o_{query}, o_{target}, G)$:

• $Q$: Un conjunto de descripciones de lenguaje natural que caracterizan la instancia de la consulta.
• $o_{target}$: El objeto candidato colocado físicamente en la escena.
• $G$: Un grafo de navegación alrededor de $o_{target}$ que consiste en puntos de vista capturados previamente (nodos) y transiciones navegables (aristas).

Estado y Acción:

• Estado ($S_t$): Incluye el punto de vista actual ($p_t$), la observación (imagen RGB + advertencias de visibilidad) y una creencia interna ($B_t$) sobre la decisión de verificación.
• Espacio de Acción ($A$): Incluye acciones de navegación ($NAV_{d_k}$) para moverse a uno de los $K=6$ sectores azimutales, y decisiones de verificación terminales ($SÍ, NO$).
• Horizonte: $T=6$ pasos (cada sector visitado como máximo una vez).

Tipos de Pares:
Para distinguir entre el sesgo de calibración y la capacidad de reconocimiento, el conjunto de evaluación está equilibrado entre tres tipos de pares:

1. Positivo: $o_{query} = o_{target}$ (Misma instancia).
2. Negativo Mismo: Misma categoría, diferentes atributos detallados (por ejemplo, dos mochilas con diferentes colores).
3. Negativo Diferente: Diferentes categorías (por ejemplo, consulta de mochila frente a objetivo de sombrero).

2.2. El Benchmark PInVerify

PInVerify es un benchmark de embodied offline construido sobre el conjunto de datos PInNED (escenas HM3D con objetos Objaverse-XL). Las innovaciones clave incluyen:

• Escala de Datos: 3,000 episodios de evaluación a través de 18 categorías de objetos (por ejemplo, mochila, taza, llaves).
• Topología de Multi-Vista: Un grafo de navegación de 6 sectores con dos anillos de observación (Lejos: 1.4–1.7m; Cerca: 0.9–1.2m).
• Anotaciones a Nivel de Protocolo:
  • Vistas Trampa (Trap Views): Sectores geométricamente navegables donde la máscara proyectada del objetivo cae por debajo de un umbral de visibilidad (no informativas debido a oclusión o ángulo).
  • Sectores Inalcanzables: Sectores bloqueados por paredes o muebles donde la navegación falla.
  • Pares Estratificados: Separación explícita de pares positivos, negativos-mismo y negativos-diferentes para analizar los modos de fallo.
• Naturaleza Offline: Las observaciones capturadas previamente eliminan la estocasticidad del renderizado y aíslan la decisión de verificación del control de locomoción, permitiendo ablaciones controladas sobre detección y razonamiento.

2.3. Agentes de Referencia

Los autores proporcionan dos agentes base para mapear la dificultad de PInVerify:

1. Pipeline Modular Libre de Entrenamiento:
   • Descomposición de Atributos: Utiliza un MLLM para descomponer las descripciones en atributos estructurados.
   • Verificación por Vista: Localiza el objeto (vía Grounding DINO o cajas GT) y verifica los atributos uno por uno.
   • Rastreador Ponderado por Confianza: Acumula evidencia a través de las vistas, penalizando las observaciones de baja visibilidad (trampa) para evitar rechazos espurios.
   • Mejor Siguiente Vista (NBV): Compara estrategias de Muestreo de Punto Más Lejano (FPS) angular, Aleatorio y guiado por LLM.
2. Agente End-to-End Ajustado con LoRA:
   • Basado en Qwen3-VL-4B, ajustado mediante LoRA.
   • Entrenado mediante Ajuste Fino Supervisado (SFT) sobre trazas de cadena de pensamiento (chain-of-thought), seguido de estrategias de alineación (DPO, GRPO, GSPO).
   • Realiza la verificación y la navegación en un solo paso hacia adelante.

3. Resultados Clave

3.1. Rendimiento de la Base

• MLLM vs. Embeddings: La mejor base basada en MLLM (Qwen3-VL-4B con descomposición de atributos y seguimiento multi-vista) logra un 85.0% de precisión general, superando a la mejor base de embeddings (SigLIP2, 80.1%) por 4.9 puntos porcentuales (pp). La brecha es significativamente mayor en los pares positivos (59.6% vs. 42.9%).
• Cuello de Botella de Detección: Las ablaciones utilizando cajas delimitadoras de Verdad de Terreno (GT) en lugar de Grounding DINO muestran una ganancia de +3.1 pp en la precisión general (y +10.6 pp en pares positivos), identificando la calidad de la detección como un cuello de botella importante, particularmente para objetos pequeños (por ejemplo, llaves, relojes).
• Estrategias de NBV: Dentro de la escala probada, diferentes estrategias de NBV (Aleatoria, FPS, guiada por LLM) arrojan resultados dentro del intervalo de confianza del 95% ($\pm 1.3$ pp). Ninguna estrategia muestra ganancias fiables de la selección activa sobre el muestreo aleatorio en el entorno libre de entrenamiento.

3.2. Rendimiento del Agente Entrenado

• Impacto de SFT: Un agente ajustado con LoRA (SFT) mejora la precisión general del 70.6% (base) al 84.8%, con un salto masivo en la precisión de los pares positivos (0.146 $\to$ 0.759).
• Alineación: La alineación post-SFT con GSPO (Optimización de Política de Secuencia de Grupo) mejora aún más el rendimiento al 85.6% (88.9% con cajas GT).
• Compromisos (Trade-offs): Los agentes entrenados exhiben un cambio en la calibración: mejoran significativamente la confirmación positiva pero muestran una reducción en la precisión del rechazo de "negativo-mismo" en comparación con el pipeline libre de entrenamiento. También demuestran una mayor eficiencia, reduciendo los Pasos Promedio hacia la Decisión (ASD) de 2.34 a 1.62 y las tasas de fallo de navegación del 28% al 9%.

4. Significado y Reivindicaciones

El artículo posiciona a PInVerify como un entorno de pruebas controlado que complementa, en lugar de reemplazar, los benchmarks de navegación existentes. Su importancia radica en:

1. Aislar la Verificación Semántica: Al abstraer la locomoción, permite a los investigadores estudiar el desafío específico de verificar la identidad de la instancia de grano fino bajo oclusión e incertidumbre de punto de vista.
2. Revelar Problemas de Calibración: Los resultados resaltan que para los MLLM en dispositivos ( $\le$ 8B de parámetros), la calibración (el equilibrio entre confirmar coincidencias y rechazar discrepancias) es tan crítica como la capacidad bruta. La mejor estrategia de consulta depende del perfil de calibración específico del modelo.
3. Identificar Cuellos de Botella: El benchmark hace evidente que la calidad de la detección y el manejo de las "vistas trampa" son los principales modos de fallo, lo que sugiere que el trabajo futuro debe abordar la detección robusta de vocabulario abierto y la selección de vistas consciente de la incertidumbre.
4. Reproducibilidad Offline: El uso de datos capturados previamente asegura que los resultados de la evaluación no se vean confundidos por variaciones de renderizado o estocasticidad del control, facilitando la comparación justa de algoritmos de verificación.

Los autores conclen que, si bien los MLLM actuales pueden realizar verificación activa, aún no son lo suficientemente robustos para seleccionar de manera fiable la "mejor" vista en todos los escenarios, y la calidad de la detección sigue siendo un factor limitante para la verificación semántica de grano fino en la IA embodied.