Resumo Técnico: Otimização de Diversidade de Ensemble para Supervisão Subjetiva

Declaração do Problema

Muitas tarefas de Processamento de Linguagem Natural (PLN), como moderação de conteúdo, detecção de discurso de ódio e análise de sentimento, são caracterizadas por um desacordo sistemático entre anotadores. Nesses domínios subjetivos, as anotações divergentes frequentemente decorrem de ambiguidade semântica, dependência contextual ou variações na expertise do anotador, em vez de simples erros de anotação. Consequentemente, o "ground truth" (verdade fundamental) não é um único rótulo latente, mas uma distribuição sobre interpretações humanas plausíveis.

Abordagens padrão de aprendizado supervisionado tipicamente agregam essas anotações em um único alvo (por exemplo, via voto majoritário), descartando informações distribuicionais e induzindo o overfitting às interpretações dominantes. Embora a supervisão de rótulos suaves (soft-labels) preserve as distribuições dos anotadores, os métodos existentes frequentemente otimizam um único modelo preditivo, carecendo de mecanismos explícitos para regular a variabilidade preditiva interna ou distinguir entre incerteza epistêmica genuína (subjetividade) e ruído estrutural (ex: desbalanceamento de classes ou cobertura esparsa de anotadores). Além disso, métodos de ensemble tradicionais frequentemente tratam a diversidade como uma propriedade emergente de arquiteturas fixas, em vez de um objetivo de otimização explícito.

Metodologia: Otimização de Diversidade de Ensemble (EDO)

Os autores propõem a Otimização de Diversidade de Ensemble (EDO), um framework de espaço de predição projetado para aprender sob supervisão subjetiva e desbalanceada. A EDO opera inteiramente no espaço de predição, permitindo que seja agnóstica ao modelo e compatível com qualquer conjunto de classificadores probabilísticos pré-treinados. O framework congela os parâmetros do backbone e foca no aprendizado de pesos e estrutura do ensemble de forma ponta a ponta (end-to-end).

Componentes Principais

1. Aprendizado de Estrutura de Ensemble Diferenciável:
   Em vez de fixar o tamanho do ensemble, a EDO aprende a cardinalidade efetiva ($K$) e os pesos de confiabilidade ($w$) dos membros do ensemble conjuntamente. Isso é alcançado usando a relaxação Gumbel-Softmax, que permite a otimização baseada em gradiente de escolhas estruturais discretas (tamanho do ensemble) dentro de um framework contínuo.

2. Regularizador de Diversidade Assinado e Ponderado por Confiabilidade:
   Uma inovação central é a introdução de um objetivo de diversidade assinado ($L^{(s)}_{Div}$) onde $s \in \{-1, +1\}$.

   • $s = -1$ (Preservação de Desacordo): Incentiva o desacordo intra-ensemble para preservar a incerteza epistêmica quando a variação reflete subjetividade genuína.
   • $s = +1$ (Supressão de Desacordo): Suprime a divergência quando a variação observada é impulsionada por artefatos estruturais, como desbalanceamento extremo de classes ou cobertura esparsa de anotadores.
     Este regularizador é ponderado pela confiabilidade, o que significa que a contribuição do desacordo de pares é modulada pelos pesos aprendidos dos membros do ensemble.

3. Otimização Multiobjetivo:
   A EDO formula o aprendizado como uma otimização conjunta de três objetivos concorrentes:

   • Utilidade Preditiva: Aproximada via uma perda micro-F1 diferenciável (differentiable soft micro-F1 loss, $L_{F1}$).
   • Calibração: Imposta via entropia cruzada ponderada por classe ($L_{CE}$) para lidar com rótulos suaves desbalanceados e alinhar-se com as distribuições dos anotadores.
   • Diversidade Interna: Regulada pelo loss de diversidade assinado ($L^{(s)}_{Div}$).
     O objetivo total é: $\min_{w,K} \lambda_{F1}L_{F1} + \lambda_{CE}L_{CE} + \lambda_{Div}L^{(s)}_{Div} + \lambda_{Reg}L_{Reg}$.

4. Estratégias de Supervisão:
   O framework suporta duas estratégias:

   • Seleção Aleatória (Random Select): Amostra um rótulo de um único anotador por instância para treinamento, fornecendo um estimador estocástico imparcial.
   • Por Anotador (Per-Annotator): Pareia membros específicos do ensemble com anotadores específicos, preservando vieses individuais e exigindo acesso à identidade do anotador.

Principais Contribuições

• Framework Unificado: A EDO integra supervisão de anotador estocástica com otimização explícita e consciente da confiabilidade da diversidade do ensemble, indo além de arquiteturas fixas ou abordagens de rótulo suave de modelo único.
• Controle de Diversidade Direcional: Ao contrário de métodos anteriores que tratam a diversidade como uma heurística estática, a EDO introduz um regularizador assinado que direciona a otimização ao longo da fronteira de Pareto utilidade-calibração, permitindo que o modelo preserve ou suprima o desacordo com base na natureza dos dados.
• Aprendizado Estrutural Ponta a Ponta: Ao utilizar Gumbel-Softmax, a EDO aprende o tamanho e a composição ideais do ensemble dinamicamente, adaptando a complexidade aos padrões específicos de desacordo dos anotadores em um conjunto de dados.
• Agnosticismo de Modelo: O framework opera exclusivamente no espaço de predição, tornando-o aplicável a qualquer backbone pré-treinado sem exigir o retreinamento do modelo subjacente ou acesso aos metadados do anotador (na variante de Seleção Aleatória).

Resultados Experimentais

Os autores avaliaram a EDO em quatro benchmarks de classificação de texto subjetivo do benchmark LeWiDi: ArMIS (misoginia em árabe), ConvAbuse (abuso em diálogos em inglês), HS-Brexit (discurso de ódio relacionado ao Brexit em inglês) e MD-Agreement (ofensividade em inglês).

• Melhorias na Calibração: A EDO melhorou substancialmente a calibração probabilística em comparação com as linhas de base (Soft-CE, Soft-MD, Top-5 Voting e Weak Ensemble Learning [WEL]).
  • Reduziu a Entropia Cruzada (CE) em 40–78% em relação às linhas de base, dependendo do conjunto de dados e da linha de base.
  • Alcançou os menores Soft Brier Scores em todos os quatro conjuntos de dados, indicando robustez contra má calibração excessivamente confiante.
• Manutenção da Utilidade: Apesar do foco em calibração e incerteza, a EDO manteve scores Micro-F1 competitivos, demonstrando que a melhoria na representação da incerteza não necessariamente ocorre às custas da utilidade preditiva.
• Alinhamento com Anotadores: A EDO mostrou um alinhamento mais forte com as distribuições empíricas dos anotadores (medido pela Distância de Manhattan) do que as abordagens de modelo único.
• Insights de Ablação:
  • O regularizador de diversidade assinado foi mais eficaz quando combinado com o loss multiobjetivo conjunto, atuando como um mecanismo complementar para remodelar o trade-off utilidade-calibração.
  • A agregação de ensemble ponderada pela confiabilidade reduziu consistentemente a CE em comparação com a média uniforme.
  • O tamanho do ensemble aprendido ($K$) adaptou-se dinamicamente, expandindo-se quando membros adicionais melhoravam a calibração e contraindo-se quando desnecessário.

Significância e Alegações

O artigo alega que a EDO fornece uma abordagem eficiente e agnóstica ao modelo para modelar a subjetividade humana em aprendizado supervisionado. Ao tratar o desacordo do anotador como um sinal estruturado em vez de ruído, e ao otimizar conjuntamente a estrutura do ensemble com um regularizador de diversidade direcional, a EDO permite a navegação controlada do trade-off utilidade-calibração.

Os autores enfatizam que sua abordagem não requer arquiteturas de ensemble desenhadas à mão ou scores de incerteza pré-computados. Em vez disso, os pesos de confiabilidade e o tamanho do ensemble emergem implicitamente do equilíbrio baseado em gradiente dos objetivos de utilidade, calibração e diversidade. Os resultados sugerem que a otimização conjunta da estrutura do ensemble permite uma representação mais fundamentada da incerteza epistêmica em configurações com julgamentos humanos inerentemente variáveis.

O artigo conclui que, embora a EDO ofereça um framework flexível, sua eficácia depende da estrutura do desacordo (ex: distinguir subjetividade genuína de artefatos estruturais), e trabalhos futuros poderiam explorar estratégias de ponderação dinâmica e representações mais ricas do comportamento do anotador.