Resumo Técnico: Detecção de Toxicidade Justa e Calibrada com Treinamento Robusto e Abstenção

Declaração do Problema

Classificadores de toxicidade frequentemente aprendem correlações espúrias entre menções a identidades (por exemplo, "branco", "muçulmano", "gay") e rótulos de toxicidade. Como o discurso de ódio frequentemente co-ocorre com menções a grupos protegidos, os modelos tratam termos de identidade como sinais de toxicidade. Isso leva a falsos positivos sistemáticos, onde conteúdo neutro ou antirracista que menciona essas identidades é penalizado desproporcionalmente.

As avaliações padrão geralmente focam em métricas de classificação (como AUC BPSN/BNSP), tratando calibração e abstenção como preocupações de qualidade separadas. Este artigo argumenta que tal separação é enganosa por três razões:

1. Disparidade de Calibração é uma Violação de Justiça: Se as pontuações de confiança correspondem a diferentes precisões entre grupos, decisões baseadas em limiar são inerentemente enviesadas.
2. Eficácia da Abstenção é uma Propriedade de Justiça: O adiamento baseado em confiança só funciona como um mecanismo de segurança se a confiança acompanhar a correção uniformemente em todos os subgrupos.
3. Dependência Pós-Hoc: Intervenções como escalonamento de temperatura ou otimização de limiar têm sucesso ou falham com base em como o método de treinamento moldou a distribuição de probabilidade subjacente.

O artigo propõe um framework integrado que avalia classificadores de toxicidade em três eixos: classificação, calibração e abstenção.

Metodologia

Dados

O estudo utiliza o conjunto de dados Civil Comments (Jigsaw), estratificado e reduzido para 200.000 exemplos. Os grupos são atribuídos com base na primeira identidade mencionada no comentário. O conjunto de teste inclui 18.217 exemplos de fundo (sem menção a identidade) e oito grupos de identidade com suporte suficiente (por exemplo, branco, negro, muçulmano, gay/lésbica, judeu, cristão, feminino, masculino). Grupos com menos de 50 exemplos são excluídos para garantir estimativas bootstrap estáveis. HateXplain é utilizado para avaliação de transferência zero-shot para avaliar a generalização.

Métodos de Treinamento

Três intervenções no momento do treinamento são comparadas:

1. Minimização de Risco Empírico (ERM): Uma linha de base ajustada finamente em DistilBERT-base-uncased, minimizando a perda média uniformemente sem consciência de subgrupos.
2. ERM Ponderado: Aplica pesos por exemplo com base na frequência do grupo ($w_i = N / (G \cdot n_{g_i})$), recortados para evitar que grupos raros dominem os gradientes.
3. Otimização Robusta Distribucional por Grupo (Group DRO): Utiliza pesos adaptativos por grupo atualizados via um objetivo minimax para focar no grupo de maior perda.

Intervenções Pós-Hoc

Três mecanismos são aplicados às saídas treinadas:

1. Escalonamento de Temperatura: Aprende um escalar $T$ para corrigir a miscalibração uniforme.
2. Abstenção Baseada em Confiança: Calcula curvas de risco-cobertura mantendo a fração superior $c$ das previsões com base na confiança ($max(p, 1-p)$).
3. Otimização de Limiar por Identidade: Realiza buscas em grade de limiares para minimizar as lacunas de erro absoluto entre subgrupos e o fundo.

Métricas de Avaliação

O framework emprega intervalos de confiança bootstrap pareados de 95% ($n=1000$) para todas as métricas:

• Classificação: AUC de subgrupo, BPSN (Benigno Positivo, Subgrupo Negativo) e BNSP (Benigno Negativo, Subgrupo Positivo).
• Calibração: Erro de Calibração Esperado (ECE) por subgrupo e a Lacuna de Justiça-Calibração ($\Delta ECE = ECE_{subgrupo} - ECE_{fundo}$).
• Comportamento de Cauda: Porcentagem de exemplos benignos com toxicidade prevista alta ($p > 0,9$ e $p > 0,99$).
• Abstenção: Curvas de risco-cobertura e lacunas de erro residual em vários níveis de cobertura.

Principais Resultados

1. Disparidade de Calibração Oculta no ERM

Embora o ERM alcance calibração agregada quase perfeita (ECE $\approx$ 0,013) e AUC geral forte (0,940), ele exibe disparidade de calibração significativa em todos os subgrupos de identidade.

• Cada subgrupo de identidade é significativamente miscalibrado em comparação com o fundo (por exemplo, lacuna de ECE do subgrupo judeu +0,134; subgrupo branco +0,077).
• O modelo é excessivamente confiante em conteúdo que menciona identidade. Uma previsão de $p=0,85$ em um comentário que menciona um grupo protegido não carrega a mesma precisão que $p=0,85$ em conteúdo de fundo.
• Essa disparidade é invisível para métricas padrão de classificação como BPSN.

2. Intervenções de Treinamento Remodelam, Não Eliminam, a Disparidade

Métodos de justiça alteram as compensações entre os eixos em vez de resolver todos os problemas simultaneamente:

• ERM Ponderado: Melhora a justiça de classificação (AUC BPSN aumenta de +0,06 a +0,12), mas piora significativamente a lacuna de justiça-calibração (até +0,232). Cria uma distribuição "bimodal" onde a maioria dos comentários benignos de identidade recebe pontuação próxima de zero, mas uma pequena cauda é empurrada para confiança extrema ($p > 0,99$).
• Group DRO: Elimina a disparidade de calibração (as lacunas cruzam zero), mas apenas tornando-se uniformemente miscalibrado globalmente (ECE sobe para 0,118). Desacopla a confiança da correção, fazendo com que a curva de risco-cobertura para abstenção suba em vez de cair.

3. Intervenções Pós-Hoc Herdam Modos de Falha de Treinamento

• Escalonamento de Temperatura: Falha para todos os métodos. O ERM já está globalmente calibrado; o ERM Ponderado possui miscalibração seletiva e específica de subgrupo que um escalar não pode corrigir; o DRO possui um desacoplamento estrutural entre confiança e correção.
• Otimização de Limiar: Não pode reparar o viés "pesado na cauda" onde uma pequena fração de comentários benignos recebe pontuações de toxicidade extremas.
• Abstenção: Funciona bem sob ERM para conteúdo de fundo, mas é injusta. Falha em proteger conteúdo que menciona identidade porque os erros são "confiantemente errados" (alta confiança, rótulo incorreto) em vez de incertos. Sob DRO, a abstenção quebra completamente, pois adiar previsões de baixa confiança não adia preferencialmente as erradas.

4. Casos de Falha Qualitativa

Comentários benignos antirracistas ou descritivos que mencionam "branco" recebem frequentemente pontuações altas de toxicidade ($p > 0,9$) pelo ERM e ERM Ponderado. Essas previsões "confiantemente erradas" sobrevivem aos filtros de confiança, explicando por que as lacunas de abstenção persistem para conteúdo que menciona brancos, mesmo em altos níveis de cobertura.

Contribuições e Significado

O artigo faz quatro contribuições principais:

1. Comparação Multi-Método: Uma comparação rigorosa, validada por bootstrap, de ERM, ERM Ponderado e Group DRO combinados com intervenções pós-hoc.
2. Calibração como Justiça: Introdução da lacuna de justiça-calibração, demonstrando que a calibração agregada pode mascarar violações graves em nível de subgrupo.
3. Compensações Não Dominadas: Caracterização dos métodos de treinamento como ocupando posições distintas no espaço de justiça:
   • ERM: Pior justiça de classificação, mas comportamento de abstenção mais limpo.
   • ERM Ponderado: Melhor justiça de classificação, mas pior disparidade de calibração e introdução de erros confiantemente errados.
   • Group DRO: Corrige a paridade de calibração, mas quebra a utilidade da abstenção.
4. Dependência Pós-Hoc: Demonstração de que a eficácia dos mecanismos de segurança (escalamento, abstenção) é determinada pelos modos de falha específicos do método de treinamento.

Significado:
O artigo argumenta que a justiça na IA Socialmente Responsável (SRAI) requer um framework multi-eixo. Métodos que parecem equivalentes em métricas agregadas de classificação diferem drasticamente em seus modos de falha, que determinam o dano no mundo real. Especificamente, intervenções de justiça que melhoram a classificação frequentemente introduzem previsões "confiantemente erradas" em conteúdo benigno de identidade que nenhuma intervenção pós-hoc pode reparar. Os autores concluem que, neste benchmark, o ERM Ponderado é a escolha prática mais defensável devido ao seu equilíbrio entre justiça de classificação, calibração e compatibilidade com abstenção, embora ainda introduza novos modos de falha não presentes no ERM de linha de base.