🤖 AI

When Do Explanations Help In-Context Learning? A Comparative Study of Natural Language Explanation Types and Faithfulness

Este artigo apresenta um estudo comparativo através de seis benchmarks e quatro modelos demonstrando que, embora as explicações em linguagem natural geralmente melhorem o desempenho do aprendizado em contexto, sua eficácia varia significativamente com base na fonte da explicação (com LLMs externos frequentemente rivalizando com racionales humanos) e na estratégia de seleção, revelando particularmente que a filtragem baseada em fidelidade produz resultados inconsistentes e que diferentes métricas de fidelidade podem levar a conclusões divergentes.

Autores originais: Mahdi Dhaini, Adam Dejl, Juraj Vladika, Volkan Özer, Barbara Plank, Gjergji Kasneci

Publicado 2026-08-18

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Mahdi Dhaini, Adam Dejl, Juraj Vladika, Volkan Özer, Barbara Plank, Gjergji Kasneci

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

No mundo da inteligência artificial, há um desejo crescente de entender não apenas o que um computador diz, mas por que ele diz. Quando um grande modelo de linguagem responde a uma pergunta, ele frequentemente produz uma sequência de texto que se assemelha a um humano raciocinando sobre um problema. Essas sequências de texto são chamadas de explicações em linguagem natural. Elas servem a um duplo propósito: ajudam os humanos a confiar na máquina ao mostrar sua lógica e podem, de fato, ajudar a máquina a pensar melhor. Esse segundo efeito é conhecido como aprendizado em contexto (in-context learning). Imagine pedir a um computador para resolver um novo quebra-cabeça. Se você der a ele alguns exemplos de quebra-cabeças semelhantes junto com as respostas corretas, ele frequentemente consegue decifrar o novo sem precisar ser retreinado. Isso é o aprendizado em contexto. Agora, imagine se você adicionasse algumas frases a esses exemplos explicando como a resposta foi alcançada. Essa explicação extra torna o computador mais inteligente ou apenas adiciona ruído? Esta é a questão central que os pesquisadores estão tentando responder ao construir sistemas de IA mais capazes e confiáveis.

Uma equipe de pesquisadores de universidades de Munique, Londres e de toda a Alemanha partiu para testar exatamente isso. Eles queriam saber se adicionar explicações aos exemplos dados a uma IA realmente melhora seu desempenho e, se sim, de onde essas explicações deveriam vir. Eles testaram quatro modelos de IA diferentes de vários tamanhos em seis tipos diferentes de tarefas de raciocínio, variando de perguntas de senso comum e detecção de sarcasmo até a resolução de problemas matemáticos complexos. Os pesquisadores compararam três fontes principais para essas explicações: explicações escritas por humanos, explicações geradas pela própria IA enquanto ela tentava resolver o problema e explicações geradas por um modelo de IA separado e poderoso atuando como um auxiliar. Eles também testaram se a qualidade da explicação importava, observando especificamente a "fidelidade" (faithfulness), que é uma medida de se a explicação realmente corresponde aos passos que o modelo seguiu para chegar à sua resposta.

Os resultados ofereceram um quadro claro do que funciona melhor na prática. Quando a tarefa era classificar informações, como decidir se uma frase era sarcástica ou determinar a relação entre duas afirmações, adicionar explicações aos exemplos geralmente ajudava a IA a desempenhar melhor. No entanto, a fonte da explicação importava significamente. Explicações geradas por um modelo de IA separado e poderoso frequentemente proporcionavam o maior aumento na precisão, desempenhando tão bem quanto, e às vezes melhor do que, as explicações escritas por humanos. Esta é uma descoberta significativa porque as explicações escritas por humanos são caras e lentas de produzir, enquanto as geradas por IA podem ser criadas instantaneamente. Em contraste, as explicações geradas pela própria IA enquanto tentava resolver o problema eram muito mais incertas. Elas às vezes ajudavam, mas frequentemente eram menos confiáveis do que as de uma fonte externa.

Os pesquisadores também investigaram se filtrar essas auto-geradas explicações para manter apenas as "fiéis" — aquelas que realmente refletiam o raciocínio do modelo — melhoraria os resultados. Eles descobriram que essa estratégia rendeu apenas pequenos ganhos médios e era altamente inconsistente. Às vezes, selecionar as explicações mais fiéis ajudava, mas outras vezes fazia o modelo ter um desempenho pior. O resultado dependia fortemente de qual teste matemático específico era usado para medir a fidelidade, a tarefa específica que o modelo estava realizando e o tamanho do próprio modelo. Isso sugere que não existe uma maneira única e perfeita de julgar a qualidade de uma explicação que funcione para todas as situações. Além disso, a equipe testou o quão robusto o sistema era ao trocar explicações entre diferentes exemplos ou usar explicações de tópicos completamente diferentes. Embora os modelos não tenham quebrado completamente quando receberam essas explicações desalinhadas, seu desempenho caiu, indicando que a explicação precisa estar semanticamente alinhada com o exemplo específico para ser verdadeiramente útil.

Na tarefa mais complexa de raciocínio matemático, a dinâmica mudou. Aqui, o benefício de adicionar explicações era menos consistente e dependia fortemente do modelo específico e da fonte da explicação. Para os modelos maiores, o método padrão de pedir ao modelo para pensar passo a passo por conta própria permanecia muito forte. No entanto, para modelos menores, explicações externas de alta qualidade podiam proporcionar um aumento substancial no desempenho, agindo como uma forma de orientação que o modelo menor não conseguiria gerar por conta própria. O estudo conclui que, embora adicionar explicações aos prompts seja uma ferramenta poderosa, não é uma solução mágica. A melhor abordagem depende da tarefa e dos recursos disponíveis. Para muitas aplicações práticas, usar explicações geradas por uma IA separada e capaz oferece uma maneira confiável e econômica de melhorar o desempenho, enquanto confiar no modelo para explicar seu próprio raciocínio exige uma seleção cuidadosa e oferece resultados menos previsíveis.

Resumo Técnico: Quando as Explicações Ajudam no Aprendizado em Contexto?

Declaração do Problema

Explicações em linguagem natural (NLEs), ou racionalidades de texto livre, são cada vez mais utilizadas como entradas para influenciar o comportamento de Grandes Modelos de Linguagem (LLMs) no Aprendizado em Contexto (ICL). Embora as NLEs sejam amplamente utilizadas para melhorar a interpretabilidade e o desempenho dos modelos, permanece incerto como diferentes fontes de NLEs (humanas, autogeradas ou geradas externamente por outro LLM) se comparam em sua utilidade preditiva. Além disso, o papel da qualidade da explicação — especificamente a fidelidade (se uma explicação reflete com precisão o processo de decisão do modelo) — e a robustez do ICL à desalinhamento semântico (racionalidades irrelevantes ou fora da distribuição) são pouco explorados. Essa falta de evidência sistemática impede que os profissionais tomem decisões informadas em relação ao equilíbrio entre precisão e custo em pipelines de prompting aumentados por explicações.

Metodologia

Os autores apresentam um estudo comparativo abrangente avaliando a utilidade preditiva das NLEs através de seis benchmarks de raciocínio diversos (ECQA, e-SNLI, SNARKS, Expressões Booleanas, Julgamento Causal e GSM8K) e quatro modelos ajustados por instrução de tamanhos variados (GPT-4o-mini, Llama-3.1-8B, Llama-3.3-70B e Mistral-7B).

O framework experimental envolve quatro etapas primárias:

Seleção de Amostras Few-shot: O estudo adota uma estratégia de seleção baseada em erro, escolhendo $n=6$ amostras que foram classificadas incorretamente pelo modelo alvo em um cenário zero-shot. Essas amostras servem como sinais corretivos.
Geração de NLE: Três fontes de explicações são geradas para as amostras selecionadas:
- Human-NLEs: Racionalidades de conjuntos de dados explicáveis existentes (onde disponíveis).
- Self-NLEs: Geradas pelo próprio modelo alvo usando um método de Cadeia de Pensamento pós-hoc (Ph-CoT). Crucialmente, para amostras classificadas incorretamente, as autoexplicações são regeneradas condicionadas ao rótulo de ouro (gold label) para garantir uma comparação justa com outras fontes.
- LLM-NLEs: Geradas por modelos explicadores externos (GPT-4o-mini ou o3-mini) instruídos a fornecer racionalidades para os pares de entrada-saída corretos.
Estratégias de Seleção de NLE: O estudo testa como a seleção de exemplos baseada na qualidade da explicação afeta o desempenho:
- Seleção Aleatória: Seleção de baseline sem avaliação de qualidade.
  * Seleção de Maior Fidelidade (Most-Faithful): Selecionando self-NLEs com as maiores pontuações baseadas em duas métricas automatizadas de fidelidade ( $f_{m1}$ do framework LExT e $f_{m2}$ baseada em autoconsistência).
- Seleção de Menor Fidelidade (Lowest-Faithful): Selecionando self-NLEs com as menores pontuações para testar a relação inversa.
- Testes de Estresse de Desalinhamento: Dois cenários de ablação onde as racionalidades são ou trocadas aleatoriamente dentro do mesmo conjunto de dados (desajuste intra-domínio) ou substituídas por racionalidades de um conjunto de dados completamente diferente (Fora da Distribuição/OOD) para testar a robustez.
Avaliação: O desempenho é medido pela acurácia da tarefa downstream, comparando prompts aumentados por explicação contra baselines (Zero-Shot, Few-Shot padrão sem racionalidades e Zero-Shot Chain-of-Thought).

Contribuições Principais

Estudo Comparativo Abrangente: A primeira avaliação em larga escala comparando NLEs humanas, autogeradas e geradas externamente por LLM como racionalidades em contexto através de múltiplos modelos e tarefas de raciocínio.
Framework de Avaliação Modular: Um framework reproduzível integrando seleção de amostras baseada em erro, pontuação de qualidade de explicação (fidelidade) e construção de prompt para isolar o impacto da fonte da NLE e da estratégia de seleção.
Análise de Métricas de Fidelidade: Uma investigação detalhada sobre como diferentes métricas de fidelidade ( $f_{m1}$ e $f_{m2}$ ) concordam ou discordam, e como essas discordâncias influenciam a seleção de exemplos e o desempenho subsequente do modelo.
Testes de Estresse de Robustez: Introdução de trocas de racionalidade aleatórias e OOD para quantificar a sensibilidade do ICL ao desalinhamento semântico.

Resultados e Análise

1. Fonte de NLE e Utilidade Preditiva (RQ1)

Tarefas de Classificação: Em benchmarks de estilo classificação (ECQA, e-SNLI, SNARKS, Boolean, Causal Judgment), adicionar NLEs a prompts few-shot geralmente melhora a acurácia em relação ao prompting Few-Shot padrão.
Comparação de Fontes: LLM-NLEs geradas externamente (de GPT-4o-mini ou o3-mini) consistentemente fornecem a utilidade downstream mais forte e estável, muitas vezes igualando ou excedendo as racionalidades anotadas por humanos onde disponíveis. As self-NLEs mostram mais variabilidade e geralmente ficam atrás das fontes externas, embora possam ser competitivas em configurações específicas.
Raciocínio Matemático (GSM8K): Os benefícios das NLEs são mais dependentes do modelo e da fonte. Enquanto a Cadeia de Pensamento (CoT) permanece um baseline forte para matemática, as LLM-NLEs geradas geralmente superam as self-NLEs, embora a lacuna varie significativamente conforme o tamanho do modelo.

2. Fidelidade e Seleção (RQ2)

Discordância de Métricas: As duas métricas de fidelidade ( $f_{m1}$ e $f_{m2}$ ) discordam substancialmente (taxa de discordância média de $\sim$ 50%), indicando que capturam aspectos operacionais diferentes da fidelidade. Essa discordância afeta diretamente quais self-NLEs são selecionadas e sua utilidade resultante.
Utilidade da Seleção Baseada em Fidelidade: Selecionar self-NLEs baseadas na fidelidade medida gera pequenos ganhos médios no geral, mas é altamente sensível à métrica específica, tarefa e modelo.
- No GSM8K, a seleção baseada em $f_{m1}$ melhorou significativamente o desempenho para o Llama-70B, mas o degradou para o Mistral-7B.
- A seleção baseada em $f_{m2}$ mostrou resultados mistos, às vezes melhorando e às vezes reduzindo o desempenho em comparação com a seleção aleatória.
Conclusão: A seleção baseada em fidelidade não é um filtro universalmente confiável; sua eficácia depende fortemente da métrica escolhida e da combinação específica de modelo-tarefa.

3. Robustez ao Desalinhamento (RQ3)

Robustez Parcial: Os modelos exibem robustez parcial a racionalidades desalinhadas. Embora as racionalidades trocadas aleatoriamente dentro do domínio e as racionalidades OOD geralmente reduzam o desempenho em comparação com a seleção fiel, os modelos não colapsam completamente.
Importância do Alinhamento Semântico: A degradação de desempenho observada com racionalidades OOD (por exemplo, parear um problema matemático com uma explicação de sarcasmo) confirma que o alinhamento semântico entre a racionalidade e o exemplo é um fator crítico para os ganhos de desempenho. Trocas aleatórias intra-domínio mostam efeitos mistos, sugerindo que mesmo racionalidades incompatíveis dentro do domínio podem fornecer algumas pistas relevantes para a tarefa.

Significância e Implicações Práticas

O artigo conclui que a fonte da NLE, a estratégia de seleção e as métricas de fidelidade são escolhas de design críticas no ICL aumentado por explicação.

Orientação Prática: Para profissionais, as LLM-NLEs geradas externamente oferecem uma alternativa prática e de alta utilidade à cara anotação humana, particularmente para tarefas de classificação. Elas fornecem desempenho estável sem exigir uma etapa complexa de pontuação de fidelidade.
Autoexplicações: Embora as explicações autogeradas sejam de baixo custo, sua utilidade é menos confiável e altamente sensível a estratégias de seleção. A filtragem de self-NLEs baseada em fidelidade deve ser abordada com cautela, pois a escolha da métrica pode levar a resultados divergentes.
Alinhamento: O estudo enfatiza que o alinhamento semântico é crucial; usar racionalidades não alinhadas (mesmo que do mesmo conjunto de dados) pode anular os benefícios do prompting aumentado por explicação.
Tamanho do Modelo: Modelos menores (SLMs) mostram ganhos de desempenho mais pronunciados de explicações externas de alta qualidade em comparação com modelos maiores (LLMs), que parecem internalizar mais padrões de raciocínio e depender menos de andaimes (scaffolding) externos.

No geral, o trabalho fornece evidências empíricas para guiar a seleção e o reporte de explicações em pipelines de prompting, destacando que, embora as explicações possam moldar o comportamento do modelo, sua utilidade é contingente à fonte, qualidade e alinhamento da racionalidade.