Resumo Técnico: Revisitando a Sensibilidade de Prompts em Grandes Modelos de Linguagem para Classificação de Texto

Definição do Problema

Grandes Modelos de Linguagem (LLMs) são cada vez mais utilizados para classificação de texto zero-shot e few-shot, onde o comportamento da tarefa é ditado inteiramente por prompts de linguagem natural. Um corpo substancial de literatura estabeleceu que os LLMs exibem alta sensibilidade a variações de prompts, onde mudanças mínimas na formulação podem alterar drasticamente o ranking de desempenho e as reivindicações de estado da arte. No entanto, este artigo argumenta que uma parte substancial da sensibilidade observada não é uma falha inerente nas capacidades de raciocínio dos modelos, mas sim uma consequência da subespecificação do prompt.

Muitos estudos existentes que investigam a sensibilidade de prompts dependem de prompts "mínimos" ou "subespecificados" (inspirados nas primeiras formulações do GPT-3) que fornecem pouca ou nenhuma instrução de tarefa ou restrições de rótulo. Os autores hipotetizam que esses prompts fazem com que os LLMs falhem na etapa de geração de saída — produzindo texto não estruturado ou ignorando os rótulos esperados — em vez de falharem em compreender a tarefa internamente. Isso leva a valores de logit baixos para os tokens relevantes e decisões de classificação baseadas em probabilidades distribuídas aleatoriamente, o que infla a percepção de sensibilidade dos modelos.

Metodologia

O estudo compara sistematicamente prompts subespecificados (mínimos) contra prompts bem especificados (instrução) em três tarefas de classificação de texto (SST-2, AG News, MMLU) e seis variantes de LLM (LLaMA-2-13B, LLaMA-3.1-8B, LLaMA-3.2-3B, tanto em suas formas base quanto ajustadas por instrução/instruction-tuned).

O framework de avaliação emprega três abordagens analíticas distintas:

1. Análise de Desempenho Empírico: Os autores avaliam a média de acurácia e o desvio padrão através de 10 variantes de prompt por configuração. Eles comparam uma configuração "Base" contra várias estratégias de mitigação:

   • Estratégia UNK: Anexar tokens ` de fim de sentença () ao prompt.
   • Calibração: Ajustar as probabilidades dos rótulos com base em prompts neutros para garantir uma distribuição uniforme.
   • Aprendizado em Contexto (ICL - In-Context Learning): Fornecer 2 exemplos por classe dentro do prompt.
   • Ajuste de Instrução (Instruction-Tuning): Utilizar variantes de modelos ajustadas por instrução.
   • Meta-Tags/Templates de Chat: Utilizar delimitadores específicos do tokenizer.
   • A avaliação é conduzida via tanto Avaliação de Logit (selecionando a classe com a maior probabilidade do token final) quanto Avaliação de Geração (extraindo rótulos de geração de texto livre).

2. Análise de Logit: Os autores analisam a magnitude e a distribuição dos valores de logit para os rótulos das classes. Eles investigam a correlação entre os valores de logit e a acurácia da classificação, comparando especificamente prompts que geram altos versus baixos valores de logit.

3. Análise de Prova Linear (Linear Probe Analysis): Para investigar as representações internas, os autores treinam classificadores lineares do tipo Ridge nas ativações de cada camada do LLM. Esta técnica de interpretabilidade mecanística determina se o estado interno do modelo contém informações suficientes para resolver a tarefa, mesmo que a geração da saída final falhe.

Principais Resultados

1. O Impacto da Subespecificação do Prompt

Prompts subespecificados exibem consistentemente maior variância de desempenho e valores de logit significativamente menores para os tokens relevantes em comparação com prompts de instrução. Em muitos casos, prompts mínimos resultam em logits de rótulo na faixa de $10^{-5}$ a $10^{-3}$, colocando os rótulos corretos na metade inferior da distribuição de probabilidade do vocabulário. Consequentemente, as decisões de classificação sob prompts mínimos são frequentemente impulsionadas por ruído, em vez de compreensão semântica.

2. Estratégias de Mitigação

• Prompts de Instrução: Embora os prompts de instrução geralmente melhorem o desempenho médio e reduzam a variância, eles não eliminam a sensibilidade inteiramente por si sós.
• Aprendizado em Contexto (ICL): O ICL proporciona a mitigação mais consistente e significativa da sensidade de prompt. Quando combinado com modelos ajustados por instrução, o ICL produz a maior acurácia e o menor desvio padrão. Notavelmente, o ICL aborda os problemas de subespecificação de forma tão eficaz quanto a calibração, mas sem exigir acesso aos internos do modelo ou prompts neutros.
• Calibração: A calibração oferece melhorias semelhantes ao ICL, mas é ligeiramente menos consistente. Combinar calibração com ICL gera apenas benefícios marginais adicionais, sugerindo que ambos os métodos visam o mesmo problema subjacente.
• Estratégia UNK: A estratégia de anexar tokens </s> frequentemente degrada o desempenho, às vezes resultando em um desempenho pior do que o acaso (random chance).
• Variantes de Modelo: A mudança para variantes de modelos ajustadas por instrução melhora significamente o desempenho tanto para prompts mínimos quanto para de instrução, embora isso possa ser parcialmente atribuído a vazamento de dados (data leakage) se os dados de treinamento sobrepuserem os conjuntos de avaliação.

3. Insights de Logit e Prova Linear

• Correlação de Logit: Existe uma forte correlação positiva (até $r=0.757$) entre a magnitude dos valores de logit dos rótulos e a acurácia da classificação. Altos valores de logit servem como um indicador confiável da qualidade do prompt e da ausência de subespecificação.
• Representações Internas: A análise de prova linear revela que as representações internas (ativações nas camadas médias) permanecem robustas e contêm informações suficientes para classificar tarefas com precisão, mesmo quando a saída final está incorreta devido à subespecificação. A degradação no desempenho ocorre principalmente nas camadas finais da rede. Isso sugere que o modelo "sabe" a resposta internamente, mas falha em articulá-la corretamente quando o prompt é subespecificado.

Contribuições e Significância

O artigo apresenta as seguintes contribuições primárias:

1. Reenquadramento da Sensibilidade de Prompt: Identifica a subespecificação do prompt como um motor primário da sensibilidade observada em LLMs, argumentando que os modelos frequentemente falham na formatação da saída, em vez da compreensão da tarefa.
2. Rigor Metodológico: Defende o uso de prompts de instrução bem especificados e aprendizado em contexto para garantir avaliações confiáveis das capacidades dos modelos, afastando-se de prompts mínimos que induzem alta variância.
3. Ferramentas de Diagnóstico:
   • Estabelece a análise de logit como uma ferramenta prática para diagnosticar a qualidade do prompt, mostrando que baixos valores de logit são um forte preditor de baixo desempenho e alta sensibilidade.
   • Utiliza a prova linear para demonstrar que os problemas de sensibilidade frequentemente emergem nas camadas finais do modelo, enquanto as representações internas permanecem estáveis.
4. Mitigação Prática: Demonstra que modificações simples, especificamente a combinação de modelos ajustados por instrução e aprendizado em contexto, podem mitigar efetivamente a maioria dos problemas de sensibilidade sem procedimentos complexos de calibração.

Conclusão

Os autores concluem que uma parte significativa da instabilidade dos LLMs em classificação de texto decorre do uso de prompts subespecificados e configurações experimentais ambíguas, em vez de uma incapacidade fundamental dos modelos de resolver as tarefas. Eles defendem um maior rigor metodológico em pesquisas futuras, enfatizando a necessidade de prompts bem especificados para distinguir entre limitações genuínas do modelo e artefatos de um mau prompting. Os achados sugerem que, com estratégias de prompting apropriadas (especificamente formatos de instrução e ICL), a sensibilidade observada pode ser amplamente mitigada, levando a avaliações mais confiáveis e reproduzíveis de LLMs.