Resumo Técnico: Pontuação de Estabilidade de Prompt para Anotação de Texto com Modelos de Linguagem de Grande Escala

1. Declaração do Problema

Pesquisadores utilizam cada vez mais Modelos de Linguagem de Grande Escala (LMs) para anotação de texto, frequentemente empregando abordagens zero-shot ou few-shot onde um "prompt" instrui o modelo a classificar dados. Embora esses métodos ofereçam escalabilidade, eles introduzem uma lacuna crítica de confiabilidade: as saídas dos LMs são frequentemente sensíveis a variações menores e semanticamente equivalentes na redação do prompt ou em parâmetros de decodificação estocástica.

A literatura atual carece de uma verificação rotineira e automatizada de confiabilidade para esses pipelines. Um único prompt que produz alta precisão não garante que um prompt ligeiramente reescrito produzirá as mesmas etiquetas. Se as saídas variarem entre prompts semanticamente similares ou execuções repetidas, o pipeline de classificação é "frágil", minando a reprodutibilidade e tornando as estimativas subsequentes não confiáveis. Os autores argumentam que a estabilidade é uma condição prévia necessária para a precisão e a reprodutibilidade; um pipeline que é instável sob pequenas perturbações não deve prosseguir para etapas de validação custosas, como codificação manual.

2. Metodologia

O artigo introduz a Pontuação de Estabilidade de Prompt (PSS), um framework de diagnóstico automatizado que quantifica o acordo de um pipeline de anotação sob perturbações controladas. O framework trata execuções repetidas do modelo e variantes de prompts semanticamente equivalentes como análogos a avaliadores humanos em estudos de confiabilidade inter e intra-avaliador.

Componentes Principais

• Estabilidade Intra-Prompt (Intra-PSS): Mede a consistência de um modelo quando o mesmo prompt é executado repetidamente nos mesmos itens. Isso captura a variabilidade de execução para execução causada por estocasticidade de decodificação (por exemplo, amostragem por temperatura) e execução de hardware não determinística.
• Estabilidade Inter-Prompt (Inter-PSS): Mede a consistência de um modelo quando variantes de prompts semanticamente equivalentes são utilizadas. O framework gera essas variantes usando um modelo de paráfrase externo (PEGASUS) em temperaturas de decodificação variadas. Temperaturas baixas produzem reescritas conservadoras, enquanto temperaturas mais altas atuam como testes de estresse para revelar onde o pipeline falha.

Operacionalização Estatística

• Métrica: Os autores utilizam o $\alpha$ de Krippendorff ($K\alpha$) como estatística de acordo primária. Essa escolha permite o tratamento de dados nominais, ordinais e de intervalo, e corrige o acordo por acaso.
• Estimativa de Incerteza: O bootstrap não paramétrico é empregado para gerar intervalos de confiança para as estimativas de estabilidade.
• Implementação: Os autores fornecem um pacote Python de código aberto, promptstability, que automatiza a geração de variantes de prompt, a execução de execuções repetidas e o cálculo das pontuações de estabilidade.

Desenho Experimental

O framework foi validado em seis conjuntos de dados e doze resultados distintos, gerando aproximadamente 3,1 milhões de anotações (cerca de 300 milhões de tokens de entrada). Os conjuntos de dados abrangem diversos contextos das ciências sociais (por exemplo, tweets de senadores dos EUA, manifestos de partidos do Reino Unido, artigos do NYT, respostas de pesquisas) e variam em:

1. Complexidade do Resultado: Binário vs. multiclasse vs. escalas contínuas; categorias granulares vs. grosseiras.
2. Complexidade dos Dados: Entradas ricas em informação vs. pobres em informação (por exemplo, textos curtos vs. longos).
3. Capacidade do Modelo: Comparações entre diferentes LMs (por exemplo, GPT-3.5, GPT-4o, DeepSeek-R1).

3. Resultados Principais

A análise empírica mapeia a instabilidade para quatro fontes primárias: ambiguidade dos critérios, complexidade do resultado, complexidade dos dados e capacidade do modelo.

• Padrões Gerais de Estabilidade: A maioria das tarefas de benchmark exibe alta Intra-PSS (repetibilidade sob um prompt fixo), convergindo rapidamente para níveis altos de acordo. No entanto, a Inter-PSS é mais variável; a estabilidade frequentemente diminui à medida que as paráfrases do prompt se tornam mais diversas.
• Ambiguidade dos Critérios: Várias tarefas (por exemplo, detecção de postura, classificação de "questão mais importante") mostraram quedas rápidas na Inter-PSS mesmo em temperaturas baixas do parafraseador. Isso indica que os critérios de codificação são frágeis a pequenas mudanças de redação, sugerindo design de prompt ambíguo ou constructos mal definidos.
• Complexidade de Dados e Resultados:
  • Complexidade dos Dados: Tarefas com baixas razões sinal-ruído (por exemplo, prever escolha de eleitor a partir de dados limitados de perfil) mostraram baixa estabilidade mesmo com prompts fixos.
  • Complexidade do Resultado: Expandir conjuntos de rótulos para categorias mais granulares e sobrepostas (por exemplo, 12 vs. 6 categorias de questões) reduziu a estabilidade, mesmo quando os dados de entrada permaneceram constantes.
• Capacidade do Modelo: Comparações entre GPT-4o e DeepSeek-R1:8b revelaram que a escolha do modelo impacta significativamente a estabilidade. O modelo menor exibiu menor Intra-PSS e degradação mais rápida na Inter-PSS, demonstrando que a instabilidade pode decorrer de limitações do modelo e não apenas do design do prompt.
• Utilidade Diagnóstica: Os autores demonstram que filtrar formatos de saída corretos (por exemplo, remover inteiros malformados) pode distinguir entre erros de formatação e instabilidade genuína de classificação. Para alguns conjuntos de dados (por exemplo, "Questão Mais Importante"), a filtragem resolveu a instabilidade; para outros (por exemplo, "Curto Sintético"), não o fez, indicando uma dificuldade fundamental da tarefa.
• Viabilidade de Custo: Os autores estimam que executar esses diagnósticos de estabilidade em um tamanho de amostra típico custa entre $3 e$150 (usando GPT-3.5), sugerindo que a abordagem é um diagnóstico viável em estágio inicial e não uma etapa de validação proibitiva.

4. Contribuições Principais

1. Framework Conceitual: O artigo reenquadra a confiabilidade da anotação por LM através da lente da confiabilidade inter e intra-avaliador, definindo "estabilidade de prompt" como uma propriedade distinta e mensurável necessária para a reprodutibilidade.
2. Ferramenta de Diagnóstico Automatizado: A introdução da Pontuação de Estabilidade de Prompt (PSS) e do pacote promptstability acompanha fornece aos pesquisadores um método padronizado e automatizado para testar pipelines de anotação antes de investir em validação de verdade fundamental.
3. Caracterização Empírica: Ao testar em 12 resultados e 6 conjuntos de dados, o artigo fornece uma caracterização em grande escala de quando pipelines baseados em prompt são estáveis versus frágeis, identificando modos de falha específicos relacionados ao sinal dos dados, granularidade dos rótulos e escolha do modelo.
4. Manual Prático: Os autores oferecem um "Manual de PSS" para interpretar resultados, aconselhando pesquisadores sobre quando refinar prompts, esclarecer constructos, trocar de modelos ou ajustar configurações de decodificação com base nas pontuações de estabilidade.

5. Significado e Alegações

O artigo alega que alta precisão de um único prompt é insuficiente para reprodutibilidade. Se um pipeline de anotação é frágil a pequenas perturbações (reescritas ou execuções repetidas), qualquer estimativa subsequente herda essa fragilidade, independentemente do desempenho médio do modelo.

Os autores posicionam a PSS não como uma medida de verdade ou precisão, mas como um pré-requisito para validade. Eles argumentam que os pesquisadores devem tratar diagnósticos de estabilidade como uma etapa essencial inicial no fluxo de trabalho de pesquisa. Uma PSS baixa serve como um aviso para revisar a redação do prompt, definições de constructo, qualidade dos dados ou seleção de modelos antes de comprometer recursos com procedimentos de validação caros. O artigo conclui que, embora a estabilidade não garanta correção, ela é a fundação necessária sobre a qual a pesquisa em ciências sociais baseada em LM reprodutível deve ser construída.