Principled Evaluation with Human Labels: One Rater at a Time and Rater Equivalence

Título: Equivalência de Avaliadores (Rater Equivalence)

Autores: Paul Resnick, Yuqing Kong, Grant Schoenebeck e Tim Weninger.

1. O Problema

Em muitas tarefas de classificação de aprendizado de máquina (como moderação de conteúdo, diagnóstico médico ou avaliação de sentimentos), não existe uma "verdade fundamental" (ground truth) definitiva. Em vez disso, os sistemas são avaliados contra julgamentos humanos. O problema central abordado no artigo é a falta de fundamentação teórica sobre como utilizar esses rótulos humanos para:

1. Avaliar o desempenho de um classificador (como calcular a pontuação de precisão).
2. Comparar classificadores com benchmarks humanos (determinar se um algoritmo é tão bom quanto um grupo de humanos).

A prática comum é combinar os rótulos de um painel de avaliadores humanos (geralmente via voto majoritário) para criar um "rótulo de ouro" e comparar o classificador a esse rótulo único. Os autores argumentam que essa abordagem é frequentemente injustificada e pode levar a conclusões errôneas, especialmente quando há desacordo entre os avaliadores.

2. Metodologia e Modelos Teóricos

Os autores propõem um framework baseado em dois conceitos fundamentais que definem o contexto de avaliação:

A. Propriedades do Cenário de Avaliação

1. Objetividade (Objectivity): Existe uma verdade objetiva para cada item?
   • Sim: O desacordo é ruído (ex.: radiologia, onde um tumor existe ou não).
   • Não: O desacordo reflete diferenças válidas de perspectiva (ex.: humor, moderação de conteúdo subjetiva).
2. Equanimidade (Equanimity): O dano de uma classificação errada é o mesmo, independentemente de quão óbvio ou borderline o item é?
   • Sim: Erros em casos óbvios e difíceis têm o mesmo custo.
   • Não: É mais grave errar um caso óbvio (onde 90% concordam) do que um caso borderline.

Com base nessas propriedades, definem-se dois Modelos de Utilidade:

• Modelo de Utilidade Subjetiva: Aplica-se quando não há verdade objetiva ou quando a equanimidade não se mantém. A utilidade é definida como a pontuação esperada contra um avaliador aleatório.
  • Conclusão Chave: Combinar votos (voto majoritário) introduz viés. A melhor prática é pontuar o classificador contra cada avaliador individualmente e depois calcular a média das pontuações. Isso fornece uma estimativa não tendenciosa da utilidade esperada.
• Modelo de Utilidade Objetiva: Aplica-se quando há uma verdade objetiva e equanimidade.
  • Conclusão Chave: Se não houver rótulos de verdade fundamental disponíveis, não existe uma prática ideal teoricamente justificada para avaliar contra painéis humanos. Painéis maiores nem sempre melhoram a ordenação relativa dos classificadores; em alguns cenários, um painel de 3 avaliadores pode reverter a ordem de classificação correta obtida com um único avaliador.

B. Curvas de Potência e Equivalência de Avaliadores

Para o segundo problema (benchmarks), os autores introduzem:

• Curva de Potência (Power Curve): Uma função que mostra a pontuação esperada de um "classificador humano" (um painel de $k$ avaliadores combinados) à medida que o tamanho do painel ($k$) aumenta.
• Equivalência de Avaliadores (Rater Equivalence - REQ): Definida como o menor tamanho de painel humano ($k$) cuja pontuação esperada supera a do classificador automático.
  • Interpretação: Se um classificador tem uma REQ de 3, ele é equivalente a um painel de 3 humanos. Um REQ mais alto indica um classificador melhor.

C. O Combinador Bayesiano Anônimo (ABC)

Para simular painéis de benchmark de forma eficiente e minimizar a REQ (garantindo que o benchmark humano seja o mais forte possível), os autores propõem o Anonymous Bayesian Combiner (ABC).

• É um algoritmo que calcula a distribuição posterior de Bayes para o próximo rótulo, baseado nos rótulos observados anteriormente.
• É provado ser o combinador ótimo se a função de pontuação for uma regra de pontuação adequada (como entropia cruzada), garantindo que a curva de potência seja maximizada e a equivalência de avaliadores seja minimizada (evitando superestimar o desempenho do classificador).

3. Principais Contribuições

1. Framework de Decisão: Um modelo que determina se deve-se usar o modelo de utilidade subjetiva ou objetiva com base na objetividade e equanimidade da tarefa.
2. Prova de Viés do Voto Majoritário: Demonstração matemática de que, no modelo de utilidade subjetiva, usar o voto majoritário de um painel para pontuar classificadores introduz viés. A abordagem correta é "pontuar contra um avaliador de cada vez e fazer a média das pontuações".
3. Resultados Negativos no Modelo Objetivo: Prova de que, na ausência de verdade fundamental, não há garantia de que painéis maiores de avaliação produzam a mesma decisão gerencial que a verdade fundamental, e que painéis maiores podem até piorar a ordenação de classificadores.
4. Definição de Equivalência de Avaliadores (REQ): Uma métrica formal e interpretável que quantifica o desempenho de um classificador em termos de quantos humanos seriam necessários para igualá-lo.
5. Algoritmo Ótimo (ABC): Um método computacionalmente viável para combinar rótulos de painéis simulados, provado ser ótimo sob regras de pontuação adequadas.

4. Resultados e Estudos de Caso

Os autores aplicaram o framework em três estudos de caso da literatura existente:

1. Ataques Pessoais (Wikipedia/Jigsaw):
   • O classificador Jigsaw teve uma REQ de 7.63 (usando ABC e entropia cruzada). Isso significa que o classificador equivale a um painel de quase 8 humanos.
   • O estudo original havia concluído que o modelo superava grupos de 3, mas subia grupos de 5. A nova metodologia revelou que o modelo é, na verdade, superior a grupos de 5, corrigindo a avaliação anterior.
2. Credibilidade de Notícias (CredBank):
   • O classificador linguístico teve uma REQ de 0.48.
   • Interpretação: O classificador é pior do que um único avaliador humano. Ele equivale a ter um humano avaliando menos da metade dos itens.
3. Sistemas de Avaliação Social (Reddit/GuessTheKarma):
   • A pontuação líquida de upvotes do Reddit teve uma REQ de 2.39.
   • Interpretação: O mecanismo de votação do Reddit (com milhares de votos) transmite menos informação sobre a preferência humana do que uma simples pesquisa com 3 pessoas.

5. Significado e Impacto

• Mudança de Paradigma na Avaliação: O artigo desafia a convenção de usar o voto majoritário como "verdade absoluta" em tarefas subjetivas, propondo uma abordagem estatisticamente mais rigorosa (média de pontuações individuais).
• Interpretabilidade Gerencial: A métrica de "Equivalência de Avaliadores" traduz o desempenho de modelos de IA em termos intuitivos para gestores (ex.: "este modelo substitui 3 moderadores humanos"), facilitando decisões de implantação.
• Otimização de Benchmarks: O uso do Combinador Bayesiano Anônimo (ABC) permite criar benchmarks humanos mais fortes e justos, evitando que classificadores pareçam melhores do que realmente são devido a combinadores de benchmark fracos.
• Cuidado com o "Mito do Ambiente Fixo": Os autores alertam que a implantação de classificadores pode alterar o ambiente (ex.: usuários adaptando-se ao algoritmo), o que pode invalidar métricas estáticas de avaliação.

Em resumo, o paper fornece as bases teóricas e práticas para uma avaliação mais justa e precisa de sistemas de IA que operam em domínios onde o julgamento humano é subjetivo ou variável, substituindo heurísticas comuns por métodos probabilísticos rigorosos.