Resumen Técnico: NORA – Evaluación de la Razonabilidad Anclada en el Razonamiento Normativo de Acción Visual en Primera Persona

Declaración del Problema

Las evaluaciones actuales de los Modelos de Lenguaje de Gran Escala (LLM) y los Modelos de Lenguaje-Visión (VLM) con respecto a la competencia normativa —específicamente la capacidad de navegar normas sociales y razones prácticas para la acción en entornos del mundo real— son insuficientes. Los benchmarks existentes suelen depender de dos paradigmas defectuosos:

1. Juicio moral basado solo en texto: Evaluar modelos sobre casos descritos explícitamente de forma textual, lo que impide probar la capacidad de aislar características relevantes a partir de evidencia visual.
2. Preguntas de Opción Múltiple (MCQ): Incluso en entornos visuales (por ejemplo, EGONORMIA), los modelos se presentan con un menú fijo de opciones. Este enfoque evalúa la coincidencia de respuestas en lugar de la capacidad de construir un espacio de acción razonable desde cero.

El artículo argumenta que estos métodos permanecen en el "lado del juicio" de la brecha entre el saber y el hacer. En la práctica, los agentes deben identificar características normativamente relevantes de un video en primera persona, razonar sobre ellas y generar una acción justificada sin una lista predefinida de candidatos. Los modelos actuales suelen fallar al construir el espacio completo de alternativas razonables o al vincular las acciones seleccionadas con su soporte local correcto (hechos y razones).

Metodología: El Benchmark NORA

Los autores introducen NORA (Razonamiento Normativo en Acción), un benchmark diseñado para evaluar la razonabilidad anclada (grounded reasonableness). Este concepto se define como la capacidad de un modelo para identificar hechos salientes de la escena, representar razones a favor o en contra de acciones candidatas y seleccionar una acción apoyada por dichas razones dentro de un contexto socialmente situado.

Construcción del Conjunto de Datos

NORA se construye sobre clips del conjunto de datos Ego4D, anotados bajo instrucciones revisadas por filósofos. El conjunto de datos comprende 1,420 clips anotados divididos en dos niveles:

• HUMANGOLD-190: Un conjunto de 190 clips verificados por anotadores humanos.
• LLMSSILVER-1230: Un conjunto de 1,230 clips validados por LLMs (GPT-5.4 y Gemini-3.1-Pro) contra el estándar de oro humano para asegurar la escala.

Esquema de Anotación:
Cada clip se anota como un problema de decisión estructurado siguiendo tres principios:

1. Perspectiva en primera persona: Anclado estrictamente en la evidencia visual disponible en la escena.
2. Orden Hecho–Razón–Acción: Las anotaciones registran hechos visibles, razones basadas en hechos y acciones candidatas basadas en razones en una secuencia estricta, evitando la justificación post-hoc.
3. Pluralismo de acciones razonables: Múltiples acciones pueden ser razonables si están fundamentadas en la evidencia visible y apoyadas por razones que no sean derrotadas por consideraciones contextuales más fuertes.

Las anotaciones se representan como grafos de soporte basados en la acción ($G = \{G_a : a \in A\}$), donde las aristas codifican relaciones de soporte local ($f \to r \to a$).

Protocolo de Evaluación

La evaluación mide la razonabilidad anclada comparando las salidas del modelo contra los grafos de soporte de referencia. La métrica se descompone en tres componentes:

1. Alineación de la Acción ($Q_A$): Recuperación semántica de las acciones siguientes candidatas.
2. Anclaje Fáctico ($Q_F$): Recuperación de los hechos visibles de la escena.
3. Vinculación de Soporte ($Q_S$): Si los hechos y las razones están correctamente vinculados a las acciones apropiadas.

La métrica agregada principal es la media geométrica de estos tres componentes: $R = (Q_A \cdot Q_F \cdot Q_S)^{1/3}$. Esto asegura que un modelo no pueda obtener una puntuación alta simplemente generando una acción plausible si falla en anclarla en los hechos o en vincularla con las razones correctas.

Regímenes de Prompting:
El estudio evalúa 12 VLMs bajo tres condiciones de prompting distintas para probar diferentes niveles de justificación:

• Directo (Simple): Solicita una acción siguiente con una explicación mínima (simulando el despliegue).
• Deliberado (Medio): Requiere un análisis de libre formato de las acciones candidatas y las razones antes de la selección.
• Estructurado (Complejo): Solicita explícitamente un esquema de hecho–razón–acción, alineándose estrechamente con el formato de anotación del benchmark.

Contribuciones Clave

1. Benchmark NORA: Un benchmark de video en primera persona que requiere que los modelos generen acciones candidatas y las justifiquen mediante grafos de soporte explícitos, yendo más allá de las preguntas de opción múltiple.
2. Métrica de Razonabilidad Anclada: Un protocolo de evaluación que distingue entre la recuperación de un espacio amplio de acciones razonables y el compromiso con una única acción bien sustentada, utilizando métricas de nivel de conjunto y de acción elegida.
3. Análisis Empírico: Un benchmarking exhaustivo de 12 VLMs de última generación (incluyendo familias GPT-5.x, Gemini, Qwen y Grok) que revela modos de fallo específicos en el razonamiento normativo.

Resultados

El benchmarking de 12 VLMs revela que, si bien los modelos actuales a menudo pueden recuperar acciones plausibles y hechos relevantes de la escena, luchan consistentemente con la tarea completa de la razonabilidad anclada:

• Brecha de Rendimiento: Los modelos de frontera (GPT-5.2, GPT-5.1) logran las puntuaciones más altas ($R \approx 0.38$ bajo prompting Estructurado) pero permanecen significativamente por debajo del techo de referencia de la anotación (GPT-5.4 alcanza $R \approx 0.558$).
• Análisis de Componentes: El anclaje fáctico es típicamente el componente más fuerte, mientras que la alineación de la acción (recuperar el espacio completo de acciones razonables) es el más débil. Los modelos a menudo describen la escena correctamente pero fallan al construir el conjunto apropiado de acciones siguientes candidatas.
• Efectos del Prompting: El prompting Estructurado generalmente mejora el rendimiento de los modelos de alta capacidad (por ejemplo, GPT-5.2, Gemini-3-Flash) al proporcionar andamiaje, pero puede ser una limitación para otros modelos. Sin embargo, a nivel de acción elegida, el prompting estructurado mejora consistentmente la decisión final y su anclaje local en comparación con el prompting deliberativo.
• Conjunto vs. Elección: Existe una fuerte correlación entre la razonabilidad a nivel de conjunto y la razonabilidad de la acción elegida, pero son capacidades distintas. Seleccionar una acción plausible es más fácil que recuperar el espacio completo de acciones razonables.

Significado y Limitaciones

El artículo afirma que NORA cambia la pregunta de evaluación de "¿Puede un modelo elegir una acción?" a "¿Puede un modelo justificar una acción apropiada por las razones visibles correctas?". Proporciona una brecha medible en la capacidad de los VLMs actuales para realizar un razonamiento normativo situado, resaltando que los sistemas actuales a menudo carecen de la capacidad de construir conjuntos de opciones adecuados y vincularlos con la evidencia local.

Limitaciones reconocidas por los autores:

• Pluralismo de la Anotación: Las anotaciones humanas son muestras necesariamente incompletas del espacio de acciones razonables; existen múltiples interpretaciones válidas.
• Puntuación Comparativa: Las puntuaciones de razonabilidad anclada están destinadas al diagnóstico comparativo en lugar de ser medidas absolutas de competencia normativa.
• Sesgo: El benchmark puede reflejar sesgos de la distribución de los videos de origen (Ego4D), el grupo de anotadores y las categorías normativas específicas utilizadas.

Los autores posicionan a NORA tanto como un marco de evaluación como un potencial estímulo de entrenamiento para agentes corporizados que deben actuar razonablemente en entornos sociales, enfatizando que el estado del arte actual tiene un margen sustancial de mejora para cerrar la brecha entre el saber y el hacer.