Resumo Técnico: Agregação-então-Calibração para Avaliação Centrada no Humano

1. Definição do Problema

O artigo aborda tarefas de avaliação centradas no humano onde a tomada de decisão sistemática é necessária, mas a verdade fundamental (ground truth) é custosa, inobservável ou apenas disponível no futuro (ex: estimar a carga de trabalho de um trabalhador ou avaliar a qualidade de um artigo). As abordagens existentes enfrentam um dilema:

• Métodos puramente humanos dependem da agregação de julgamentos, mas sofrem com a heterogeneidade da expertise dos anotadores e escalas de classificação inconsistentes (ex: um especialista leniente versus um novato rigoroso).
• Métodos puramente de modelos dependem de pontuações preditivas, mas frequentemente aprendem a partir de proxies imperfeitos ou características incompletas, propagando vieses sistemáticos.

O desafio central é combinar essas fontes complementares: alavancar a estrutura ordinal (rankings relativos) dos julgamentos humanos, que costumam ser mais confiáveis do que pontuações absolutas, com a escala de pontuação quantitativa dos modelos preditivos.

2. Metodologia: Agregação-então-Calibração (AtC)

Os autores propõem o AtC, um framework de dois estágios que integra julgamentos humanos e previsões de modelos sem exigir rótulos de verdade fundamental.

Estágio 1: Agregação de Julgamento sob Heterogeneidade

O primeiro estágio agrega julgamentos comparativos heterogêneos de $m$ anotadores em um ranking de consenso $\hat{\pi}$.

• Modelo: Os autores utilizam um Modelo de Thurstone Heterogêneo (HTM). Diferente de modelos homogêneos que assumem uma confiabilidade uniforme do anotador, o HTM modela cada anotador $u$ com um parâmetro de precisão específico $\gamma_u$.
• Mecanismo: Dados os pares de preferências (ex: item $i \succ j$), a probabilidade é modelada como $\Pr\{u: i \succ j\} = F(\gamma_u(s_i - s_j))$, onde $F$ é uma função de ligação (ex: CDF Gaussiana ou Logística).
• Estimativa: O vetor de pontuação de consenso $s^*$ e as confiabilidades dos anotadores $\gamma$ são estimados via Estimativa de Máxima Verossimilhança (MLE). O ranking de consenso $\hat{\pi}$ é derivado ordenando $s^*$.
• Insight Chave: O framework extrai explicitamente a informação ordinal (o ranking) em vez de confiar nos valores brutos de classificação, reconhecendo que os humanos são mais confiáveis ao comparar itens do que ao atribuir pontuações absolutas.

Estágio 2: Calibração de Avaliação via Regressão Isotônica

O segundo estágio calibra as pontuações brutas de um modelo preditivo $s_p$ para alinhá-las ao ranking de consenso $\hat{\pi}$.

• Objetivo: Encontrar um vetor de pontuação calibrado $\hat{s}$ que respeite a ordem $\hat{\pi}$ enquanto permanece o mais próximo possível das pontuações originais do modelo $s_p$ em termos de distância euclidiana.
• Formulação: Isso é formulado como um problema de regressão isotônica (projeção sobre um cone monotônico):
  $$\hat{s} = \Pi_{\mathcal{M}}(s_p) = \arg \min_{y \in \mathcal{M}} \|y - s_p\|_2^2$$
  onde $\mathcal{M} = \{y \in \mathbb{R}^n : y_{\hat{\pi}(1)} \le y_{\hat{\pi}(2)} \le \dots \le y_{\hat{\pi}(n)}\}$.
• Algoritmo: A solução é computada eficientemente usando o algoritmo Pool-Adjacent-Violators (PAV). Se as pontuações do modelo já respeitam o ranking, elas permanecem inalteradas; caso contrário, são minimamente ajustadas para impor consistência ordinal.

3. Principais Contribuições

Conceituais

• Formalização: O artigo formaliza uma classe de problemas de avaliação onde a agregação de julgamento (não a otimização de preferência) é central.
• Complementaridade: Estabelece uma complementaridade humano-modelo: as comparações agregadas fornecem restrições ordinais, enquanto os modelos fornecem pontuações escalonadas metricamente.
• Modularidade: O framework é agnóstico ao modelo, permitindo o uso de qualquer modelo preditivo pronto para uso (off-the-shelf) sem modificações.

Teóricas

O artigo fornece três garantias teóricas rigorosas:

1. Eficiência Heterogênea (Teorema 3.6): Prova que modelar a heterogeneidade do anotador (HTM) produz um estimador de consenso estritamente mais eficiente do que modelos homogêneos quando as habilidades dos anotadores variam. A covariância assintótica do estimador HTM é estritamente menor (na ordem de Loewner) do que a de um modelo homogêneo mal especificado.
2. Robustez sob Erro de Especificação (Teorema 3.8): Estabelece limites de risco para a etapa de calibração isotônica mesmo quando o ranking de consenso é mal especificado (cone aleatório) e as pontuações do modelo contêm viés sistemático. A análise considera a projeção sobre um cone aleatório e ruído efetivo enviesado, mostrando que o erro é limitado pelas inversões de ranking esperadas e pela dimensão estatística do cone isotônico.
3. Garantia de Otimalidade (Teorema 3.12): Demonstra que, com alta probabilidade, a saída calibrada $\hat{s}$ é estritamente mais próxima da verdade fundamental $s$ do que a previsão não calibrada do modelo $s_p$, desde que a agregação do Estágio-1 seja suficientemente precisa.

Empíricas

• Datasets: A avaliação foi conduzida em um conjunto de dados semi-sintético de Nível de Leitura (Reading Level) e um conjunto de dados do mundo real de atividade de Pontos (Dots-activity) (estimando a contagem de pontos em imagens).
• Desempenho: O AtC superou consistentemente tanto as avaliações puramente humanas ($s^*$) quanto as puramente de modelos ($s_p$) em métricas incluindo o $\tau$ de Kendall, distância de Wasserstein, estatística KS e MSE.
• Robustez: No experimento de Dots-activity, onde as entradas do modelo foram corrompidas (desfoque, ruído, branqueamento), o AtC manteve alta precisão ao ancorar as pontuações do modelo ao consenso humano estável, enquanto o desempenho bruto do modelo degradou drasticamente.
• Ranking vs. Ratings: O estudo confirmou que usar rankings ordinais para calibração ($\hat{s}_{Rank}$) é mais robusto do que usar classificações cardinais agregadas ($\hat{s}_{Rate}$).

4. Significância e Alegações

O artigo afirma estabelecer uma ponte entre a agregação de julgamento e a calibração livre de modelo, oferecendo uma receita fundamentada para avaliação centrada no humano quando a verdade fundamental é escassa ou não verificável.

• Novidade Teórica: Os autores afirmam ser a primeira prova de que a agregação de ranking heterogênea é estatisticamente superior aos métodos homogêneos neste contexto. Eles também contribuem para a teoria da regressão isotônica ao analisar limites de risco sob restrições de cone aleatório e ruído enviesado, condições não tipicamente cobertas por trabalhos anteriores.
• Impacto Prático: O framework aborda a "crise de supervisão" em domínios onde os alvos reais são latentes. Ao alavancar a confiabilidade das comparações humanas e a consistência da pontuação de máquina, o AtC produz avaliações que são mais precisas e robustas do que qualquer uma das fontes isoladamente.
• Limitações e Escopo: Os autores observam que o método depende da premissa de que os julgamentos humanos são mais confiáveis para ordenação relativa do que para pontuação absoluta. Eles também reconhecem que o desempenho degrada se o ranking do Estágio-1 for severamente corrompido (ex: >500 inversões em seus experimentos), embora permaneça robusto a ruídos moderados.

O trabalho é apresentado como uma versão estendida de um artigo de conferência, fornecendo uma análise teórica mais profunda e validação experimental expandida em dados do mundo real.