Where Norms and References Collide: Evaluating LLMs on Normative Reasoning

Resumo Técnico: Avaliando LLMs em Raciocínio Normativo

Definição do Problema
Agentes incorporados (embodied agents), como robôs, operam em ambientes situados onde a comunicação bem-sucedida frequentemente depende da Resolução de Referência Baseada em Normas (NBRR - Norm-Based Reference Resolution). Este processo exige a interpretação de expressões referenciais (ex: "passe-me a caneca") por meio da inferência de normas sociais implícitas fundamentadas no contexto físico e social (ex: selecionar uma caneca limpa em vez de uma suja em um contexto de servir). Embora os Grandes Modelos de Linguagem (LLMs) demonstrem fortes capacidades de raciocínio de senso comum geral e de resposta a perguntas, permanece incerto se eles podem identificar e aplicar confiavelmente essas normas específicas e fisicamente fundamentadas, particularmente quando estas são implícitas, subespecificadas ou conflitantes. Conjuntos de dados existentes para resolução de referência (ex: Winograd Schema, WinoGrande) ou modelagem de normas sociais (ex: Social Chemistry 101) falham em integrar as restrições físicas e as nuances situacionais necessárias para a NBRR.

Metodologia
Para abordar essa lacuna, os autores introduzem o SNIC (Situated Norms in Context), um banco de testes de diagnóstico validado por humanos, projetado para sondar a capacidade dos LLMs de extrair e utilizar princípios normativos para a resolução de referência.

1. Construção do Conjunto de Dados:

   • Geração de Sementes: O processo começou com 120 cenários elaborados manualmente, agrupados em nove categorias de raciocínio normativo (ex: servir com itens limpos, priorizar a remoção de perigos).
   • Validação Humana: Um estudo online com 210 participantes validou o conjunto inicial. Os participantes selecionaram referentes em cenários ambíguos e forneceram justificativas. Os autores filtraram os dados para reter apenas 51 questões "semente" onde o referente guiado pela norma era a escolha da pluralidade (a mais selecionada) entre os participantes.
   • Aumentação Procedural: Utilizando uma estratégia de aumentação baseada em regras, as 51 sementes validadas foram expandidas para um conjunto de dados de 9.000 exemplos. Este processo variou tipos de objetos, propriedades (ex: limpo vs. sujo), ambientes (ex: cozinha, biblioteca) e tarefas (ex: limpeza, servir), mantendo a estrutura normativa central dos cenários semente.
   • Formato: O conjunto de dados inclui vinhetas em linguagem natural e, para algumas avaliações, uma representação formal em Prolog (Lógica de Primeira Ordem) para eliminar ambiguidades quanto à identidade e propriedades dos objetos.

2. Protocolo de Avaliação:
   Os autores avaliaram um conjunto diversificado de LLMs de última geração (incluindo variantes de Granite, Phi, Llama-3, Qwen e GPT-4) sob três condições distintas:

   • Apenas Descrição: O modelo recebe a descrição da cena em linguagem natural.
   • Descrição + Formalização: O modelo recebe a descrição da cena mais uma especificação formal em Prolog da cena.
   • Descrição + Formalização + Normas Explícitas: O modelo recebe a cena, a formalização e uma lista explícita das normas sociais a serem seguidas.

Resultos Principais

• Desempenho de Linha de Base (Baseline): Sem orientação explícita, os LLMs têm dificuldade em identificar consistentemente o referente correto com base em normas implícitas. A precisão média em todos os modelos nas configurações "Apenas Descrição" e "Descrição + FOL" foi de aproximadamente 44%, com o modelo de melhor desempenho (GPT-4.1) alcançando cerca de 59,62% na configuração formalizada.
• Impacto da Formalização: A adição da formalização em Prolog não melhorou significativamente o desempenho de forma generalizada. Em alguns casos (ex: Llama-3 3B), o desempenho degradou, sugerindo que os modelos podem carecer da habilidade de utilizar lógica formal para resolver ambiguidades sociais ou que a formalização não compensa a falta de conhecimento normativo.
• Impacto de Normas Explícitas: Quando as normas sociais específicas foram fornecidas explicitamente no contexto, o desempenho dos modelos aumentou significamente, com a precisão média subindo para 70,51%. O GPT-4.1 alcançou 99,6% de precisão nesta configuração. Isso indica que, embora os LLMs possam seguir normas quando instruídos, eles carecem da habilidade inerente de inferir tais normas a partir do contexto isoladamente.
• Conflitos de Normas: A análise das correlações entre categorias de normas revelou que os modelos frequentemente priorizam certas tarefas (ex: organização/limpeza) sobre outras (ex: segurança) de forma inconsistente, sugerendo uma falta de compreensão robusta sobre a força deôntica (prioridade) de normas conflitantes.

Principais Contribuições

• Conjunto de Dados SNIC: A criação de um conjunto de dados de larga escala (9.000 instâncias), validado por humanos, especificamente projetado para avaliar a resolução de referência baseada em normas em contextos fisicamente fundamentados.
• Estrutura de Diagnóstico: Uma metodologia de avaliação controlada que isola a capacidade dos LLMs de lidar com normas implícitas, conflitos de normas e fundamentação física, distinguindo isso do raciocínio de senso comum geral.
• Evidência Empírica: Demonstração de que os LLMs atuais exibem um "ponto cego" no raciocínio normativo, lutando para aplicar restrições sociais implícitas sem o uso de prompts explícitos, mesmo quando fornecidos com representações formais da cena.

Significância e Alegações
O artigo afirma que o SNIC revela uma limitação crítica nos modelos de linguagem contemporâneos: sua incapacidade de raciocinar consistentemente sobre normas sociais fisicamente situadas. Os autores argumentam que, embora os LLMs se destaquem em tarefas envolvendo fatos frequentemente declarados, eles enfrentam dificuldades com normas que são implícitas, culturalmente compartilhadas ou dependentes de contexto. Essa lacuna representa um desafio significativo para a implementação de sistemas baseados em linguagem em ambientes socialmente situados (ex: robótica), onde agentes devem resolver ambiguidades baseadas em expectativas compartilhadas em vez de instruções explícitas. O trabalho ressalta a necessidade de estratégias adicionais de alinhamento e treinamento que visem especificamente a integração do conhecimento normativo implícito, em vez de depender apenas da escala dos dados de pré-treinamento. Os autores mantêm a modéstia, observando que seu banco de testes baseado em texto não avalia o raciocínio multimodal ou as affordances físicas, e que a rápida evolução dos LLMs torna difícil fazer generalizações amplas sobre todos os modelos de última geração.