Estimating Commonsense Plausibility through Semantic Shifts

1. Problema Definido

A estimativa de plausibilidade de senso comum (CSPE - Commonsense Plausibility Estimation) é fundamental para avaliar a qualidade e a segurança de Modelos de Linguagem (LMs). No entanto, existem desafios significativos nas abordagens atuais:

• Limitações das Abordagens Generativas: Métodos existentes baseiam-se principalmente em estimativas de verossimilhança (probabilidade de tokens) ou julgamentos verbalizados (onde o modelo gera uma resposta em linguagem natural). Essas abordagens frequentemente falham na discriminação fina (fine-grained), ou seja, em distinguir nuances sutis entre opções plausíveis e implausíveis.
• Viés de Relato (Reporting Bias): Modelos puramente textuais (LMs) tendem a aprender padrões estatísticos de texto em vez de fatos do mundo real. Por exemplo, a expressão "ovelha negra" é comum no texto, levando o modelo a superestimar a probabilidade de ovelhas serem pretas, ignorando que a maioria é branca.
• Falta de Métricas Quantificáveis: Há uma carência de frameworks robustos que forneçam métricas objetivas para guiar o desenvolvimento de técnicas que aumentem a plausibilidade das saídas dos LMs.

2. Metodologia: ComPaSS

Os autores propõem o ComPaSS (Commonsense Plausibility through Semantic Shifts), uma nova abordagem discriminativa (em oposição à generativa) que quantifica a plausibilidade medindo o deslocamento semântico.

Princípio Central

A premissa é que adicionar informações de senso comum a uma frase causa um deslocamento semântico (mudança no significado):

• Adições Plausíveis: Causam deslocamentos mínimos (alta similaridade semântica).
• Adições Implausíveis: Causam desvios substanciais (baixa similaridade semântica).

Fluxo de Trabalho

1. Construção de Sentenças:
   • Para um dado contexto e um candidato a ser avaliado, o sistema constrói duas frases:
     • Frase Âncora ($s_{anchor}$): Contém apenas o contexto base, omitindo o detalhe de senso comum.
     • Frase Candidata ($s_{candi}$): O mesmo contexto, mas aumentado com a informação do candidato (ex: "Há um pinguim" vs. "Há um pinguim preto").
2. Codificação Semântica:
   • Ambas as frases são codificadas em representações vetoriais densas (embeddings) usando um modelo pré-treinado ($\theta$), que pode ser um LM (Modelo de Linguagem) ou um VLM (Modelo Visão-Linguagem).
   • A estratégia de extração de representação é adaptativa (ex: token [CLS] para codificadores, último token para decodificadores).
3. Medição de Similaridade e Ranking:
   • Calcula-se a similaridade (ex: cosseno) entre os vetores da frase âncora e da frase candidata.
   • A plausibilidade é inversamente proporcional ao deslocamento semântico: maior similaridade = maior plausibilidade.
   • Os candidatos são classificados (ranking) com base nessa pontuação.

Adaptação a Diferentes Entradas

O método funciona tanto para entradas estruturadas (tripletos: Objeto, Propriedade, Valor) quanto para texto livre (perguntas abertas), utilizando templates predefinidos ou prompts para gerar as frases coerentes.

3. Contribuições Chave

• Mudança de Paradigma: Propõe uma abordagem discriminativa para CSPE, demonstrando que ela supera métodos generativos na discriminação fina.
• Generalização: O ComPaSS é agnóstico à arquitetura do modelo de base, funcionando bem com LMs (como RoBERTa, Mistral, Qwen) e VLMs (como CLIP, EVA-CLIP).
• Integração de Conhecimento Visual: Demonstra que VLMs superam LMs em tarefas de senso comum baseadas em visão (cores, formas, relações espaciais), mitigando o viés de relato textual.
• Importância do Pré-treinamento Contrastivo: Mostra que modelos com pré-treinamento contrastivo (que aprendem a distinguir nuances semânticas) melhoram significativamente a precisão do ComPaSS.

4. Resultados Experimentais

Os experimentos foram realizados em duas tarefas de avaliação fina:

1. Ranking de Valores de Atributo (CoDa, ViComTe): Classificar cores, formas e materiais de objetos.
2. Completamento de Quadros de Senso Comum (CFC): Responder a perguntas abertas com base na plausibilidade.

Principais Descobertas:

• Superioridade sobre Baselines: O ComPaSS superou consistentemente métodos baseados em verossimilhança e verbalização, incluindo modelos SOTA como GPT-3.5 e GPT-4 em várias tarefas.
• VLMs vs. LMs: Em tarefas de atributos visuais (ex: cor de pinguins), os VLMs (EVA-CLIP) alcançaram os melhores resultados, superando LLMs massivos (7B parâmetros). Isso confirma que a informação visual corrige distorções textuais.
• Eficiência de Parâmetros: Modelos de codificador (encoder-only) menores (ex: RoBERTa de 355M) com ComPaSS alcançaram desempenho comparável ou superior a modelos decodificadores gigantes (7B+), sugerindo que a abordagem discriminativa é mais eficiente em termos de parâmetros.
• Impacto do Aprendizado Contrastivo: Modelos com pré-treinamento contrastivo (ex: RoBERTa w/ CL, E5-Mistral) tiveram ganhos significativos em relação às suas versões base, pois conseguem capturar nuances semânticas mais finas.

5. Significado e Impacto

• Validação da Abordagem Discriminativa: O trabalho prova que medir a "estabilidade semântica" ao adicionar informações é uma métrica mais robusta para senso comum do que tentar gerar ou calcular probabilidades de tokens.
• Correção de Viés: O uso de VLMs oferece um caminho para corrigir o viés de relato presente em grandes corpora textuais, alinhando o conhecimento do modelo com a realidade visual.
• Aplicabilidade Prática: O método é zero-shot (não requer ajuste fino específico para a tarefa), tornando-o uma ferramenta viável para avaliar e melhorar a saída de diversos modelos de IA generativa sem custos adicionais de treinamento.
• Limitações: O método é inerentemente comparativo (ranking) e não fornece julgamentos absolutos pontuais. Além disso, herda os vieses sociais presentes nos dados de treinamento dos modelos base.

Em resumo, o ComPaSS estabelece um novo estado da arte na avaliação de senso comum, demonstrando que a medição de deslocamentos semânticos em representações de embeddings é uma estratégia superior para distinguir o plausível do implausível, especialmente quando combinada com modalidades visuais e aprendizado contrastivo.