Do LLMs Adhere to Label Definitions? Examining Their Receptivity to External Label Definitions

Resumo Técnico: A Receptividade de LLMs a Definições de Rótulos Externas

1. Problema e Motivação

O artigo investiga uma questão fundamental no comportamento de Grandes Modelos de Linguagem (LLMs): eles genuinamente incorporam definições de rótulos fornecidas externamente (como instruções no prompt) ou dependem primariamente de seu conhecimento paramétrico interno (treinamento prévio)?

Embora definições de rótulos sejam frequentemente usadas para desambiguar tarefas e melhorar a explicabilidade, não está claro se os modelos realmente processam essas definições em seu processo de tomada de decisão ou se apenas as ignoram em favor de padrões internalizados. O trabalho busca entender a Conflito de Conhecimento (quando definições externas contradizem o conhecimento interno) e a Integração de Definição (como a apresentação dessas definições afeta o comportamento do modelo).

2. Metodologia

Os autores conduziram experimentos controlados utilizando quatro modelos de ponta (GPT-4, LLaMA-3, Phi-3 e Mistral-7B) em quatro conjuntos de dados diversos que cobrem tarefas gerais e de domínio específico:

• e-SNLI: Inferência de linguagem natural (domínio geral).
• WELLXPLAIN: Categorização de saúde mental.
• HATEXPLAIN: Detecção de discurso de ódio.
• WICE: Verificação de fatos (fact-checking).

A metodologia foi dividida em dois eixos principais de experimentação:

A. Conflito de Conhecimento (Qualidade e Permutação)

• Permutação de Definições: Os autores testaram todas as permutações possíveis das definições de rótulos (ex: definir "Entailment" como "Contradiction"). Isso permitiu medir se o modelo segue a definição fornecida no prompt ou ignora-a para classificar com base no rótulo original aprendido.
• Precisão da Definição: Foram criadas três categorias de definições:
  1. Corretas: Alinhadas logicamente com a tarefa.
  2. Levemente Incorretas: Introduzem ambiguidades sutis.
  3. Incorretas: Definições logicamente opostas ou contraditórias.
• Métricas: Utilizou-se o Coeficiente de Correlação de Matthews (MCC) para classificação e ROUGE/F1 para qualidade das explicações geradas.

B. Estratégias de Integração de Definição
Os autores compararam quatro condições de prompting:

1. Vanilla (Zero-shot): Sem definições externas (apenas conhecimento interno).
2. Definição Fixa: Definições escritas por especialistas incluídas no prompt.
3. Definição Ajustada: Definições geradas dinamicamente pelo próprio LLM para cada entrada, usando recuperação k-NN (K-Nearest Neighbors) de exemplos de treinamento similares.
4. Definição Fixa + Few-shot: Combinação de definições estáticas com exemplos de few-shot learning.

3. Contribuições Principais

1. Estratégias de Avaliação: Desenvolvimento de métodos para avaliar o desempenho e a explicabilidade de LLMs sob condições de injeção de conhecimento externo leve e interpretável.
2. Estratégias de Sondagem: Criação de duas estratégias de sondagem: permutação de definições e perturbação definicional para medir a sensibilidade dos modelos à qualidade e alinhamento das definições.
3. Análise Multidomínio: Experimentos extensivos em quatro benchmarks distintos, demonstrando que a receptividade a definições varia drasticamente entre tarefas gerais e específicas.
4. Descoberta de Dissociação: Identificação de um fenômeno onde a qualidade da explicação gerada não se correlaciona necessariamente com a precisão da classificação.

4. Resultados Chave

• Dependência de Definições vs. Conhecimento Interno:

  • Em tarefas gerais (como e-SNLI), os modelos tendem a depender mais de suas representações internas. A adição de definições externas, especialmente em configurações zero-shot, às vezes reduz a precisão, sugerindo que definições explícitas podem interferir com representações robustas pré-treinadas.
  • Em tarefas de domínio específico (saúde mental, discurso de ódio), os modelos (especialmente os menores, como Mistral-7B e Phi-3) mostram alta sensibilidade e dependência de definições externas. A precisão melhora significativamente quando definições precisas são fornecidas.

• Impacto da Qualidade da Definição:

  • Modelos menores (Phi-3, Mistral-7B) são altamente sensíveis a definições incorretas em domínios especializados, degradando seu desempenho drasticamente.
  • O GPT-4 exibiu um comportamento único de "meta-resposta": ao detectar definições conflitantes ou incorretas, ele frequentemente se recusou a responder (abstenção), demonstrando uma capacidade metacognitiva superior para identificar inconsistências, algo não observado nos outros modelos.

• Definições Geradas vs. Especialistas:

  • Definições geradas dinamicamente (ajustadas via k-NN) frequentemente superaram definições fixas de especialistas, especialmente quando adaptadas ao contexto específico da entrada.

• Dissociação Explicação-Classificação:

  • Um achado crucial é que melhorar a qualidade das definições pode aumentar drasticamente a qualidade das explicações geradas (o modelo consegue articular melhor os conceitos), mas isso não garante uma melhoria correspondente na precisão da classificação. Isso sugere que os subsistemas de raciocínio (explicação) e decisão (classificação) respondem de forma diferente às definições externas.

• Efeito Few-Shot:

  • Em tarefas gerais, adicionar exemplos few-shot junto com definições às vezes piorou o desempenho, criando confusão. Em contraste, em tarefas de domínio específico, a combinação de definições e exemplos foi altamente benéfica.

5. Significado e Implicações

O estudo desafia a suposição de que fornecer definições explícitas sempre melhora o desempenho de LLMs. As implicações principais são:

• Engenharia de Prompt Específica: Para aplicações de alto risco e domínios especializados (como saúde e moderação de conteúdo), é crucial fornecer definições precisas e contextualizadas. Modelos menores dependem mais dessas definições do que modelos maiores.
• Comportamento de Modelos Grandes: Modelos maiores (como GPT-4) possuem representações internas fortes e podem resistir a definições externas incorretas, ou até mesmo recusar tarefas com instruções conflitantes, o que é uma característica de segurança valiosa.
• Transparência e Confiabilidade: A descoberta de que as explicações podem melhorar sem que a classificação melhore alerta para o risco de "alucinação explicativa", onde o modelo parece raciocinar corretamente, mas toma a decisão errada.
• Direções Futuras: O trabalho sugere a necessidade de técnicas de interpretabilidade mecânica para entender como as definições externas são codificadas e aplicadas internamente, e a exploração de definições "disputadas" (onde especialistas divergem legítimamente).

Em suma, a receptividade de um LLM a definições externas não é uniforme; ela é uma função complexa da arquitetura do modelo, da complexidade da tarefa e da qualidade da integração do conhecimento externo.