Resumo Técnico: NORA – Avaliando a Razoabilidade Fundamentada no Raciocínio Normativo de Ação Visual em Primeira Pessoa

Declaração do Problema

As avaliações atuais de Grandes Modelos de Linguagem (LLMs) e Modelos de Linguagem-Visão (VLMs) em relação à competência normativa — especificamente a capacidade de navegar por normas sociais e razões práticas para a ação em ambientes do mundo real — são insuficientes. Os benchmarks existentes baseiam-se tipicamente em dois paradigmas falhos:

1. Julgamento moral apenas textual: Avaliar modelos em casos descritos explicitamente via texto, o que falha ao não testar a capacidade de isolar características relevantes a partir de evidências visuais.
2. Questões de Múltipla Escolha (MCQs): Mesmo em configurações visuais (ex: EGONORMIA), os modelos são apresentados com um menu fixo de opções. Esta abordagem testa a correspondência de respostas em vez da capacidade de construir um espaço de ação razoável do zero.

O artigo argumenta que esses métodos permanecem no "lado do julgamento" da lacuna entre saber e fazer (knowing–doing gap). Na prática, agentes devem identificar características normativamente relevantes de vídeos em primeira pessoa, raciocinar sobre elas e gerar uma ação justificada sem uma lista pré-definida de candidatos. Os modelos atuais frequentemente falham em construir o espaço completo de alternativas razoáveis ou em vincular as ações selecionadas ao suporte local correto (fatos e razões).

Metodologia: O Benchmark NORA

Os autores introduzem o NORA (Normative Reasoning in Action), um benchmark projetado para avaliar a razoabilidade fundamentada (grounded reasonableness). Este conceito é definido como a capacidade de um modelo identificar fatos salientes da cena, representar razões a favor ou contra candidatas ações e selecionar uma ação suportada por essas razões dentro de um contexto socialmente situado.

Construção do Dataset

O NORA é construído sobre clipes do dataset Ego4D, anotados sob instruções revisadas por filósofos. O dataset compreende 1.420 clipes anotados divididos em dois níveis:

• HUMANGOLD-190: Um conjunto de 190 clipes verificados por anotadores humanos.
• LLMSSILVER-1230: Um conjunto de 1.230 clipes validados por LLMs (GPT-5.4 e Gemini-3.1-Pro) contra o padrão ouro humano para garantir escala.

Esquema de Anotação:
Cada clipe é anotado como um problema de decisão estruturado seguindo três princípios:

1. Perspectiva em primeira pessoa: Fundamentado estritamente na evidência visual disponível na cena.
2. Ordem Fato–Razão–Ação: As anotações registram fatos visíveis, razões baseadas em fatos e ações candidatas baseadas em razões em uma sequência estrita, evitando justificativas post-hoc.
3. Pluralismo de ação razoável: Múltiplas ações podem ser razoáveis se fundamentadas na evidência visível e suportadas por razões que não sejam derrotadas por considerações contextuais mais fortes.

As anotações são representadas como grafos de suporte enraizados na ação ($G = \{G_a : a \in A\}$), onde as arestas codificam relações de suporte local ($f \to r \to a$).

Protocolo de Avaliação

A avaliação mede a razoabilidade fundamentada comparando as saídas dos modelos com os grafos de suporte de referência. A métrica decompõe-se em três componentes:

1. Alinhamento de Ação ($Q_A$): Recuperação semântica de candidatas próximas ações.
2. Fundamentação Factual ($Q_F$): Recuperação de fatos visíveis da cena.
3. Vinculação de Suporte ($Q_S$): Se os fatos e razões estão corretamente vinculados às ações apropriadas.

A métrica agregada primária é a média geométrica destes três componentes: $R = (Q_A \cdot Q_F \cdot Q_S)^{1/3}$. Isso garante que um modelo não possa alcançar uma pontuação alta meramente gerando uma ação plausível se falhar em fundamentá-la em fatos ou em vinculá-la às razões corretas.

Regimes de Prompting:
O estudo avalia 12 VLMs sob três condições distintas de prompting para testar diferentes níveis de justificativa:

• Direto (Simples): Pede uma próxima ação com explicação mínima (simulando implantação).
• Deliberado (Médio): Requer análise de livre formato de ações candidatas e razões antes da seleção.
• Estruturado (Complexo): Solicita explicitamente um esquema fato–razão–ação, alinhando-se de perto com o formato de anotação do benchmark.

Principais Contribuições

1. Benchmark NORA: Um benchmark de vídeo em primeira pessoa que exige que os modelos gerem ações candidatas e as justifiquem via grafos de suporte explícitos, indo além das MCQs.
2. Métrica de Razoabilidade Fundamentada: Um protocolo de avaliação que distingue entre recuperar um amplo espaço de ações razoáveis e comprometer-se com uma única ação bem suportada, usando métricas de nível de conjunto (set-level) e de ação escolhida (chosen-action).
3. Análise Empírica: Um benchmarking abrangente de 12 VLMs de última geração (incluindo famílias GPT-5.x, Gemini, Qwen e Grok) revelando modos de falha específicos no raciocínio normativo.

Resultados

O benchmarking de 12 VLMs revela que, embora os modelos atuais consigam frequentemente recuperar ações plausíveis e fatos relevantes da cena, eles falham consistentemente na tarefa completa de razoabilidade fundamentada:

• Lacuna de Desempenho: Modelos de fronteira (GPT-5.2, GPT-5.1) alcançam as pontuações mais altas ($R \approx 0.38$ sob prompting Estruturado), mas permanecem significativamente abaixo do teto de referência de anotação (GPT-5.4 atinge $R \approx 0.558$).
• Análise de Componentes: A fundamentação factual é tipicamente o componente mais forte, enquanto o alinhamento de ação (recuperar o espaço total de ações razoáveis) é o mais fraco. Os modelos frequentemente descrevem a cena corretamente, mas falham em construir o conjunto apropriado de candidatas próximas ações.
• Efeitos de Prompting: O prompting Estruturado geralmente melhora o desempenho para modelos de alta capacidade (ex: GPT-5.2, Gemini-3-Flash) ao fornecer andaime (scaffolding), mas pode ser uma restrição para outros modelos. No entanto, ao nível da ação escolhida, o prompting estruturado melhora consistentemente a decisão final e sua fundamentação local em comparação ao prompting deliberativo.
• Conjunto vs. Escolha: Existe uma forte correlação entre a razoabilidade de nível de conjunto e a razoabilidade da ação escolhida, mas elas são capacidades distintas. Selecionar uma ação plausível é mais fácil do que recuperar o espaço total de ações razoáveis.

Significância e Limitações

O artigo afirma que o NORA desloca a questão da avaliação de "O modelo consegue escolher uma ação?" para "O modelo consegue justificar uma ação apropriada pelas razões visíveis corretas?". Ele fornece uma lacuna mensurável na capacidade dos atuais VLMs de realizar raciocínio normativo situado, destacando que os sistemas atuais frequentemente carecem da capacidade de construir conjuntos de opções adequados e vinculá-los à evidência local.

Limitações reconhecidas pelos autores:

• Pluralismo de Anotação: As anotações humanas são necessariamente amostras incompletas do espaço de ações razoáveis; múltiplas interpretações válidas existem.
• Pontuação Comparativa: As pontuações de razoabilidade fundamentada pretendem servir para diagnóstico comparativo em vez de medidas absolutas de competência normativa.
• Viés: O benchmark pode refletir vieses da distribuição de vídeo de origem (Ego4D), do grupo de anotadores e das categorias normativas específicas utilizadas.

Os autores posicionam o NORA tanto como um framework de avaliação quanto como um potencial sinal de treinamento para agentes incorporados (embodied agents) que devem agir razoavelmente em ambientes sociais, enfatizando que o estado da arte atual possui um grande espaço para melhoria no preenchimento da lacuna entre saber e fazer.