Improving Reproducibility in Evaluation through Multi-Level Annotator Modeling

Resumo Técnico: Melhorando a Reprodutibilidade na Avaliação por Meio de Modelagem de Anotadores em Múltiplos Níveis

Declaração do Problema
A rápida proliferação da IA Generativa (GenAI) destacou uma crise crítica de reprodutibilidade na avaliação de aprendizado de máquina. Protocolos de avaliação atuais frequentemente dependem de benchmarks onde cada entrada é emparelhada com uma única saída "padrão-ouro", um paradigma que falha em contabilizar a estocasticidade inerente da inferência e a variância subjetiva introduzida por anotadores humanos. Práticas padrão tipicamente agregam 3 a 5 anotações por item em um único rótulo, tratando efetivamente o desacordo entre avaliadores como ruído, em vez de um sinal de complexidade subjetiva. Além disso, abordagens estatísticas existentes frequentemente assumem que as anotações para diferentes itens são independentes, ignorando a realidade de que os mesmos anotadores frequentemente avaliam múltiplos itens. Essa falha em modelar a dependência hierárquica entre avaliadores e itens leva a uma superestimação do poder estatístico, resultando em valores-p subestimados e conclusões potencialmente pouco confiáveis sobre o desempenho do modelo.

Metodologia
Para abordar essas limitações, os autores propõem uma estrutura de bootstrap em múltiplos níveis projetada para modelar realisticamente o comportamento e a variância dos anotadores. O estudo utiliza três conjuntos de dados do mundo real contendo identificadores persistentes de avaliadores e múltiplas anotações por item: DICES 350 (matriz totalmente cruzada), o conjunto de dados Stanford Toxicity (anotações em lotes) e D3code (anotações interculturais).

A inovação metodológica central envolve três estratégias distintas de amostragem de bootstrap não paramétrico (S1, S2, S3) implementadas dentro de uma estrutura de simulação baseada no Toolkit de Estimativa de Variância (VET):

• S1 (Amostra de Itens e Avaliadores): Assume um desenho totalmente cruzado onde itens e avaliadores são amostrados independentemente com reposição. Esta abordagem ignora a dependência dos avaliadores entre itens.
• S2 (Amostra de Itens e Avaliadores Dentro de um Item): Amostra itens com reposição e, em seguida, amostra avaliadores especificamente do conjunto de avaliadores que anotaram aquele item específico. Isso modela a realidade de que avaliadores anotam subconjuntos de itens, mas não impõe estruturas de lotes.
• S3 (Amostra de Lotes Estratificados): Amostra lotes de itens anotados pelo mesmo conjunto de avaliadores e, em seguida, reamostra itens e avaliadores dentro desses lotes. Isso captura o comportamento específico do lote dos avaliadores.

A estrutura de simulação gera dados para um padrão-ouro (G) e dois modelos (A e B), onde o Modelo B é perturbado por uma pequena quantidade ($\epsilon$) para simular uma diferença de desempenho. Testes de Significância da Hipótese Nula (NHSTs) são então aplicados para comparar o Modelo A e o Modelo B sob esses diferentes regimes de amostragem, a fim de observar como os valores-p e os tamanhos de amostra necessários (N itens, K avaliadores) se deslocam.

Principais Contribuições

1. Modelagem em Múltiplos Níveis: O artigo introduz uma estrutura que contabiliza explicitamente a estrutura hierárquica das interações avaliador-item, indo além da suposição de independência condicional entre itens.
2. Análise Empírica de Compensações: O estudo analisa sistematicamente as compensações entre o número de itens ($N$) e o número de respostas por item ($K$) necessárias para alcançar significância estatística sob diferentes suposições de amostragem.
3. Sensibilidade de Métricas: Os autores avaliam oito métricas distintas (incluindo Acurácia, MAE, Vitórias, Precisão, Revocação, Pontuação F1, Divergência KL e Distância Jensen-Shannon) para determinar como diferentes medidas de avaliação respondem à modelagem da variância dos avaliadores.

Resultados
Os resultados experimentais demonstram que falhar em contabilizar o comportamento dos avaliadores entre itens leva a subestimativas substanciais dos valores-p, inflando assim o poder estatístico percebido de um conjunto de dados.

• Impacto da Modelagem: Ao comparar S1 (amostragem independente) com S2 (amostragem de avaliadores específica por item), S2 produz consistentemente valores-p mais baixos e exige orçamentos mais altos para alcançar significância. Por exemplo, no conjunto de dados DICES com a métrica de Acurácia, o valor-p caiu de 0,045 (S1) para 0,019 (S2) em um orçamento fixo de $N \times K = 5000$.
• Requisitos de Orçamento: Contabilizar a variância dos avaliadores aumenta o orçamento total de anotação ($N \times K$) necessário para obter testes de significância da hipótese nula confiáveis. Por exemplo, no conjunto de dados Toxicity, alcançar significância para Acurácia exigiu um orçamento de 500 sob S2, mas isso aumentou cinco vezes para 2500 sob a abordagem de lote estratificado (S3).
• K vs. N Ótimos: O estudo descobre que aumentar o número de respostas por item ($K$) é frequentemente mais crítico para alcançar significância do que aumentar o número de itens ($N$), particularmente para métricas sensíveis à distribuição como MAE e JSD. Em vários casos, os valores ótimos de $K$ deslocaram-se de 40 para 100 ao passar da modelagem S1 para S2.
• Efeitos de Subamostragem: Experimentos de subamostragem do conjunto de dados DICES para 5 avaliadores mostraram que pequenos conjuntos de avaliadores levam a uma separação nas distribuições de valores-p entre orçamentos, sugerindo que a diversidade limitada de avaliadores impacta significativamente a estabilidade da estimativa.

Significância e Alegações
O artigo argumenta que a dependência atual de pequenas contagens de anotações (3–5 por item) e a agregação de rótulos em "padrões-ouro" únicos obscurece a verdadeira variância no julgamento humano. Ao demonstrar que contabilizar o comportamento dos avaliadores resulta em estimativas de valores-p mais altas, os autores alegam que muitas avaliações anteriores podem ter sido estatisticamente subdimensionadas ou falsamente significativas.

Os autores concluem que, para garantir a segurança e a confiabilidade dos sistemas de GenAI, os conjuntos de dados de avaliação devem ir além de "arquiteturas de voto de pluralidade". Eles recomendam que criadores de conjuntos de dados aumentem o número de anotadores respondendo a cada entrada (maior $K$) e forneçam dados desagregados em nível de anotador. Embora reconheçam que isso aumenta os custos de avaliação, o artigo postula que esse investimento é necessário para capturar a distribuição completa das respostas humanas e evitar marginalizar pontos de vista minoritários. O trabalho fornece um roteiro estratégico para otimizar orçamentos de anotação ($N \times K$) para alcançar avaliações de IA rigorosas, repetíveis e estatisticamente sólidas.