OLAF: Towards Robust LLM-Based Annotation Framework in Empirical Software Engineering

Resumo Técnico: OLAF – Rumo a um Framework de Anotação Baseado em LLM Robusto na Engenharia de Software Empírica

Declaração do Problema
A Engenharia de Software Empírica (ESE) depende cada vez mais de Grandes Modelos de Linguagem (LLMs) para automatizar ou auxiliar em tarefas de anotação, como rotular relatórios de bugs, classificar intenções de commits ou identificar dívida técnica autoadmitida. No entanto, o rigor metodológico dessas práticas permanece subdesenvolvido. Estudos atuais frequentemente tratam a anotação baseada em LLM como uma atividade puramente automatizada, em vez de um processo de medição, levando a várias lacunas críticas:

• Falta de Padronização: Não existem medidas padronizadas para confiabilidade, calibração ou deriva (drift) em estudos de anotação com LLM.
• Relato Fragmentado: Detalhes essenciais de configuração (ex: modelos de prompts, parâmetros de decodificação, versões do modelo) são frequentemente omitidos, dificultando a reprodutibilidade.
• Sensibilidade de Configuração: Mudanças mínimas em prompts, configurações de temperatura ou atualizações de modelos podem alterar drasticamente os resultados (um fenômeno denominado "prompt drift" ou "LLM hacking"), embora essas sensibilidades raramente sejam quantificadas.
• Construtos Indefinidos: Conceitos abstratos como "precisão de rótulo" carecem de definições operacionais formais que os vinculem a procedimentos mensuráveis, ameaçando a validade de construto, interna e externa.

Metodologia e Framework (OLAF)
O artigo propõe o Operationalization for LLM-based Annotation Framework (OLAF). Em vez de oferecer um novo algoritmo ou um resultado experimental específico, o OLAF é um framework conceitual projetado para tratar a anotação por LLM como um processo mensurável e auditável. Ele operacionaliza a anotação através de seis construtos principais e os mapeia para métricas específicas e focos de relato (resumidos na Tabela 1 do artigo):

1. Confiabilidade do Anotador (Annotator Reliability): Mede o acordo entre anotadores individuais (humanos ou modelos) usando estatísticas corrigidas pelo acaso (ex: $\kappa$ de Cohen, AC1 de Gwet, $\alpha$ de Krippendorff).
2. Consenso (Consensus): Reflete o acordo em nível de grupo para determinar se os anotadores convergem para um julgamento compartilhado ou se a tarefa contém ambiguidade inerente.
3. Agregação (Aggregation): Define métodos para combinar múltiplos anotadores em um único rótulo, distinguindo especificamente entre agregação probabilística (ex: Dawid–Skene, GLAD, MACE) e votação majoritária.
4. Transparência (Transparency): Exige a documentação completa de identificadores de modelo, parâmetros, prompts e configurações (seguindo práticas como Datasheets e Model Cards) para garantir a reprodutibilidade.
5. Calibração (Calibration): Avalia a correção das probabilidades previstas comparando pontuações de confiança com a precisão empírica usando métricas como o Erro de Calibração Esperada (ECE) e o Brier Score.
6. Deriva (Drift): Captura a estabilidade comportamental medindo o quanto o comportamento do modelo muda sob variações de prompt ou contexto, quantificado via distâncias de ativação (L2, cosseno), métricas de distribuição de saída (divergência de Jensen-Shannon) ou índices de sensibilidade de prompt (POSIX).

O framework também categoriza seis fluxos de trabalho de anotação comuns (Tabela 2) para contextualizar onde essas métricas se aplicam:

• Human-in-the-Loop (HitL)
• LLM/Model-in-the-Loop (MitL)
• Verifier-in-the-Loop (VitL)
• LLM-as-a-Pre-screen-Filter
• LLM-as-a-Judge (LLMaaJ)
• LLM-as-an-Annotator

Principais Contribuições

• Mudança Conceitual: O artigo argumenta pela reconceitualização da anotação por LLM de uma tarefa de automação para um processo de medição, exigindo o mesmo rigor de validação que as métricas de código tradicionais.
• Definições Operacionais: Fornece o primeiro conjunto estruturado de definições operacionais para confiabilidade, consenso, deriva e calibração especificamente adaptadas para anotação por LLM em SE.
• Diretrizes para a Prática: Os autores fornecem diretrizes concretas para pesquisadores, incluindo:
  • Declarar explicitamente a configuração de anotação (ex: HitL vs. LLM-as-an-Annotator).
  • Documentar detalhes completos de modelo e prompt.
  • Selecionar métodos de agregação apropriados com base no acordo observado.
  • Implementar o rastreamento de deriva usando subconjuntos de calibração fixos (ex: reanotar 50–100 itens rotulados por especialistas quando os parâmetros mudam).
• Provisão de Recursos: Os autores estabeleceram um site complementar (se-llm-annotation-olaf.github.io) com diretrizes detalhadas e exemplos.

Resultos e Alegações
Como um artigo de posição, o OLAF não apresenta novos dados experimentais ou resultados empíricos validando a eficácia do framework. Em vez disso, seus "resultados" são a síntese da literatura existente (citando trabalhos de Ahmed et al., Baumann et al., Wagner et al., etc.) para demonstrar a atual falta de rigor.

O artigo afirma que:

1. As práticas atuais de anotação por LLM são insuficientes para ambientes de missão crítica ou sensíveis à conformidade devido à falta de definição de confiabilidade e calibração.
2. Os seis construtos propostos fornecem uma base necessária para a pesquisa reprodutível, permitindo que os pesquisadores selecionem dimensões relevantes para sua tarefa específica (ex: tarefas determinísticas podem não exigir todas as seis dimensões).
3. O framework reconhece limitações, particularmente em relação a modelos proprietários (ex: GPT, Claude) onde os dados de treinamento e os cronogramas de atualização são opacos, tornando a "estabilidade restrita" o objetivo realista em vez do comportamento determinístico.

Significância
A significância do OLAF reside em seu potencial para elevar os padrões metodológicos da Engenharia de Software Empírica. Ao fornecer um vocabulário estruturado e uma abordagem de medição, ele visa:

• Motivar discussões metodológicas relativas à validade dos rótulos gerados por LLM.
• Permitir que o trabalho empírico futuro seja mais transparente e reprodutível.
• Impedir que a natureza de "caixa preta" da anotação por LLM comprometa a validade dos achados da pesquisa em SE.

Os autores posicionam o OLAF como um passo inicial, com trabalhos futuros planejados para avaliar empiricamente o impacto do framework na reprodutibilidade e para desenvolver exemplos operacionais específicos de SE.