Hierarchical Bayesian Crowdsourcing with Item Difficulty

Resumo Técnico: Crowdsourcing Bayesiano Hierárquico com Dificuldade de Item

Enunciado do Problema
Na estatística aplicada e no aprendizado de máquina, os dados de treinamento frequentemente dependem de avaliações de crowdsourcing que são ruidosas, enviesadas e inconsistentes entre avaliadores e itens. Embora o modelo amplamente utilizado de Dawid e Skene (1979) ajuste a sensibilidade e especificidade do avaliador, ele falha em capturar as propriedades distributivas dos dados de avaliação, como a variação contínua na dificuldade do item, discriminação e adivinhabilidade (guessability). Além disso, modelos existentes frequentemente enfrentam problemas de identificabilidade decorrentes de avaliadores adversários (aqueles sistematicamente mais propensos a errar do que a acertar) e não modelam adequadamente a heterogeneidade de avaliadores e itens. Abordagens heurísticas, como a votação por maioria, ignoram a incerteza, levando a estimativas enviesadas e ao desempenho degradado em tarefas subsequentes (downstream).

Metodologia
Os autores propõem um modelo de erro de medição Bayesiano hierárquico de uso geral para classificações binárias de crowdsourcing. O arcabouço estende a Teoria de Resposta ao Item (IRT) ao integrar sensibilidade e especificidade específicas do avaliador com parâmetros de nível de item para dificuldade, discriminação e adivinhabilidade.

• Modelo Generativo: O modelo assume que cada item $i$ possui uma categoria latente $z_i \in \{0, 1\}$ com prevalência $\pi$. As classificações são geradas condicionalmente a $z_i$. Cada avaliador $j$ é caracterizado pela sensibilidade ($\alpha^{sens}_j$) e especificidade ($\alpha^{spec}_j$) na escala log-odds. Cada item $i$ é parametrizado por dificuldade ($\beta_i$), discriminação ($\delta_i > 0$) e adivinhabilidade ($\lambda_i \in (0, 1)$). A probabilidade de uma classificação correta segue um modelo logístico de três parâmetros (IRT-3PL) generalizado com sensibilidade e especificidade:
  $$P(y_n = 1 | z_i=1) = \lambda_i + (1-\lambda_i)\text{logit}^{-1}(\delta_i(\alpha^{sens}_j - \beta_i))$$
  $$P(y_n = 1 | z_i=0) = 1 - [\lambda_i + (1-\lambda_i)\text{logit}^{-1}(\delta_i(\alpha^{spec}_j - \beta_i))]$$

• Identificabilidade e Avaliadores Adversários: Para abordar a posterior bimodal frequentemente encontrada em modelos de classificação, os autores introduzem uma restrição para excluir avaliadores adversários. Um avaliador adversário é definido como aquele onde a sensibilidade é menor que um menos a especificidade ($\alpha^{sens}_j < -\alpha^{spec}_j$). O modelo reparametriza a sensibilidade como $\alpha^{sens}_j = -\alpha^{spec}_j + \log(1 + \exp(\eta_j))$, garantindo que $\alpha^{sens}_j > -\alpha^{spec}_j$ enquanto mantém a flexibilidade próxima à fronteira de comportamento "spammy".

• Priors Hierárquicos: Para modelar a heterogeneidade entre avaliadores, uma prior normal bivariada hierárquica é aplicada a $(\eta_j, \alpha^{spec}_j)$. O modelo utiliza uma reparametrização não centralizada para desacoplar as variáveis latentes de suas escalas, mitigando o funil de Neal (Neal's funnel) e garantindo convergência estável.

• Treinamento Probabilístico: O artigo defende o uso das probabilidades posteriores das categorias latentes diretamente para o treinamento de classificadores subsequentes (por exemplo, via regressão de log-odds), em vez de colapsar as classificações em rótulos rígidos (hard labels). Isso preserva a incerteza e evita vieses.

• Reduções de Modelo: O arcabouço permite reduções ortogonais (por exemplo, fixando $\lambda_i=0$, $\delta_i=1$, ou vinculando sensibilidade e especificidade) para recuperar variantes padrão de IRT (1PL, 2PL, 3PL) e o modelo de Dawid-Skene como casos especiais.

Principais Contribuições

1. Modelo Proposto: Um modelo de erro de medição Bayesiano hierárquico para classificações binárias de crowdsourcing que incorpora dificuldade, discriminação e adivinhabilidade de nível de item, juntamente com sensibilidade e especificidade do avaliador.
2. Restrição de Identificabilidade: Uma estratégia de reparametrização que resolve a bimodalidade ao excluir avaliadores adversários, melhorando a identificabilidade sem sacrificar a flexibilidade próximo à fronteira de comportamento spammy.
3. Implementação de Código Aberto: O modelo é implementado em Stan, permitindo o uso em R, Python e Julia, com o código disponibilizado publicamente.

Resultos
O modelo foi validado utilizando dois conjuntos de dados: classificações de cáries em raios-X dentários (5 dentistas, ~4000 itens) e classificações de inferência de linguagem natural (Mechanical Turkers, ~3000 pares de sentenças). A avaliação utilizou Verificações Preditivas Posteriores (PPC) e Validação Cruzada Leave-One-Out (LOO).

• Acurácia Preditiva: Para ambos os conjuntos de dados, o modelo IRT-2PL + sens/spec alcançou o melhor desempenho preditivo (maior $elpd_{loo}$). Modelos que incorporam sensibilidade e especificidade superaram consistentemente os modelos IRT padrão e o modelo Dawid-Skene.
• Bondade de Ajuste: As verificações preditivas posteriores mostraram que modelos sem sensibilidade e especificidade (IRT padrão) e o modelo Dawid-Skene falharam em capturar adequadamente a distribuição das classificações. Especificamente, o modelo Dawid-Skene inflou o número de votos positivos "intermediários" em comparação com os dados observados.
• Dispersão: O modelo IRT-2PL + sens/spec aproximou-se da dispersão de votos positivos por item nos dados, enquanto o modelo Dawid-Skene subestimou a dispersão e o modelo completo IRT-3PL + sens/spec mostrou uma variabilidade maior não sustentada pelos dados.
• Impacto no Treinamento: Experimentos sintéticos demonstraram que o treinamento de classificadores usando as probabilidades posteriores (especificamente via regressão de log-odds) reduziu significamente o erro de estimativa de parâmetros em comparação com o uso de rótulos rígidos derivados de votação por maioria ou categorias de probabilidade máxima.

Significância e Alegações
O artigo alega que a modelagem explícita de sensibilidade e especificidade do avaliador dentro de um arcabouço Bayesiano hierárquico é crítica para melhorar o ajuste e o desempenho preditivo sobre os modelos clássicos de IRT e a abordagem de Dawid-Skene. Ao capturar a variação de nível de item (dificuldade, discriminação) e o comportamento estruturado do avaliador, os modelos propostos produzem previsões mais precisas e bem calibradas. Os autores concluem que a maioria dos esforços de treinamento de aprendizado de máquina que utilizam feedback humano não está maximizando seu potencial e pode ser melhorada aplicando esses modelos probabilísticos estruturados de crowdsourcing, particularmente através do uso de dados de treinamento probabilísticos em vez de padrões de ouro colapsados. O trabalho também destaca a importância de identificar e excluir avaliadores adversários para garantir a identificabilidade do modelo em configurações típicas de crowdsourcing.