Mitigating the Multiplicity Burden: The Role of Calibration in Reducing Predictive Multiplicity of Classifiers

Este artigo demonstra que a aplicação de métodos de calibração pós-hoc, como o Escalonamento de Platt e a Regressão Isotônica, reduz significativamente a multiplicidade preditiva e o arbítrio algorítmico em modelos de risco de crédito, especialmente beneficiando observações da classe minoritária.

O essencial

🏦 O Dilema do "Sorteio" nos Empréstimos: Como a Calibração Salva a Justiça

Imagine que você precisa decidir quem recebe um empréstimo bancário. Você contrata nove consultores financeiros diferentes. Todos eles são brilhantes, todos têm a mesma taxa de acerto histórico (digamos, 95% de precisão) e todos analisaram o mesmo perfil de cliente.

Aqui está o problema:

• O Consultor A diz: "Sim, empreste a ele!"
• O Consultor B diz: "Não, é muito arriscado!"
• O Consultor C diz: "Talvez, mas com juros altos."

Todos os consultores são "bons" segundo as regras do banco, mas eles chegam a conclusões opostas para a mesma pessoa. Isso é o que os cientistas de dados chamam de Multiplicidade Preditiva (ou o "Efeito Rashomon"). É como se a decisão final fosse um sorteio de loteria (azar ou sorte) dependendo de qual consultor você escolheu, e não da realidade do cliente.

Este artigo investiga como consertar isso, focando em um conceito chamado Calibração.

---

🎯 O Problema: A "Zona de Neblina" e os "Desfavorecidos"

Os autores descobriram duas coisas preocupantes ao analisar dados de crédito reais:

1. A Neblina da Incerteza: Quando os modelos estão muito confiantes (ex: "100% seguro"), eles concordam entre si. Mas, quando estão na "zona de neblina" (onde a decisão é difícil, perto da linha de corte), eles começam a brigar. É nessa zona que a multiplicidade explode.
2. O Peso Desproporcional: Quem sofre mais com essa confusão? As minorias e os grupos de menor risco.
   • Imagine que o banco tem dois tipos de clientes: os "Grandes Clientes" (maioria) e os "Pequenos Clientes" (minoria).
   • Os modelos tendem a ser superconfiantes e concordantes com os Grandes Clientes.
   • Com os Pequenos Clientes, os modelos ficam nervosos, confusos e discordam muito. Isso significa que um Pequeno Cliente pode ter seu empréstimo negado ou aprovado puramente por sorte, dependendo de qual modelo o banco usou naquele dia. Isso é injusto.

---

🛠️ A Solução: O "Afinador" (Calibração)

O artigo propõe que, antes de tomar a decisão final, devemos passar os resultados dos modelos por um processo chamado Calibração Pós-Hoc.

Pense na calibração como um afinador de instrumentos ou um tradutor de confiança.

• Um modelo pode dizer: "Tenho 80% de certeza de que ele vai pagar". Mas, na realidade, quem tem 80% de certeza só paga 60% das vezes. O modelo está "desafinado" (superconfiante).
• A calibração ajusta essa voz. Ela diz: "Ei, quando você diz 80%, você deveria estar dizendo 60%".

O estudo testou três tipos de "afinadores":

1. Escala de Platt: Um ajuste matemático simples e direto (como um afinador de violão).
2. Regressão Isotônica: Um ajuste mais flexível que se adapta a curvas complexas (como um afinador que entende jazz).
3. Escalonamento de Temperatura: Um ajuste fino usado em redes neurais (como um micro-ajuste de temperatura).

---

📉 O Que Aconteceu? (Os Resultados)

Quando os autores aplicaram esses "afinadores" nos modelos:

• A "Briga" Diminuiu: Os modelos que antes discordavam (dizendo "Sim" e "Não" para a mesma pessoa) começaram a concordar muito mais. A calibração funcionou como um mediador de consenso.
• Menos Sorte, Mais Justiça: A "sorte" (arbitrariedade) na decisão de crédito diminuiu drasticamente.
• O Vencedor: O método Escala de Platt e a Regressão Isotônica foram os melhores em fazer os modelos concordarem. Eles reduziram a confusão, especialmente para os grupos que mais sofriam com a injustiça.

A Grande Descoberta:
A calibração não apenas torna as probabilidades mais "verdadeiras" (mais precisas), mas também estabiliza a decisão. Ela impede que a vida de uma pessoa dependa de qual modelo aleatório o banco escolheu usar.

---

💡 A Lição Final

Imagine que você está construindo um sistema de justiça. Se você usa apenas um modelo, você pode estar errado. Se usa nove modelos que discordam entre si, você está criando um sistema de loteria onde a justiça é aleatória.

Este artigo nos ensina que calibrar os modelos é como colocar um "filtro de consenso" antes da decisão final.

• Para a maioria, isso é um ajuste fino.
• Para as minorias e grupos vulneráveis, isso é uma ferramenta de justiça, garantindo que eles não sejam vítimas de um "azar" estatístico.

Em resumo: A calibração transforma a loteria em um processo justo. Ela garante que, quando um banco diz "sim" ou "não", essa decisão seja sólida, estável e baseada na realidade, e não apenas no acaso de qual algoritmo foi escolhido.

Resumo técnico

Título: Mitigando o Fardo da Multiplicidade: O Papel da Calibração na Redução da Multiplicidade Preditiva de Classificadores

1. O Problema

O artigo aborda dois desafios críticos na aplicação de modelos de Machine Learning em ambientes de alto risco (como crédito, saúde e políticas públicas):

1. Confiabilidade Probabilística: A necessidade de que as probabilidades previstas reflitam com precisão as frequências observadas de resultados (calibração). Muitos modelos modernos, embora precisos, são mal calibrados (exibem superconfiança).
2. Multiplicidade Preditiva (Efeito Rashomon): O fenômeno onde múltiplos modelos com desempenho quase idêntico (dentro do conjunto de Rashomon) produzem previsões conflitantes para a mesma instância. Isso gera "arbitrariedade algorítmica", onde o resultado de uma decisão (ex: aprovação de crédito) depende da escolha arbitrária de um modelo específico entre vários válidos.

A Lacuna: Embora a calibração e a multiplicidade preditiva tenham sido estudadas separadamente, a interação entre elas permanece inexplorada. O artigo investiga se a falta de calibração concentra a multiplicidade preditiva em regiões de baixa confiança e se a calibração post-hoc pode mitigar essa arbitrariedade, especialmente para classes minoritárias.

2. Metodologia

O estudo emprega uma abordagem empírica rigorosa utilizando nove conjuntos de dados de benchmark de risco de crédito.

• Construção do Conjunto de Rashomon:
  • Utilizou-se o h2o AutoML para gerar uma diversidade de classificadores (Gradient Boosting, Random Forests, Redes Neurais, GLMs).
  • O conjunto de Rashomon ($R$) foi definido como o conjunto de modelos cujo AUC está dentro de 5% ($\epsilon = 0.05$) do melhor modelo ($f_{best}$).
• Métricas de Avaliação:
  • Obscuridade (Obscurity): Métrica principal. Mede a taxa média de discordância de um modelo em relação ao melhor modelo para uma observação específica. Valores altos indicam alta arbitrariedade.
  • Ambiguidade e Discrepância: Métricas complementares para verificar conflitos binários e discordância global.
  • Confiança (Confidence): Probabilidade média atribuída às previsões.
• Métodos de Calibração Post-hoc:
  Três técnicas foram aplicadas independentemente a cada modelo no conjunto de Rashomon para avaliar seu impacto na redução da multiplicidade:
  1. Platt Scaling: Transformação logística paramétrica.
  2. Regressão Isotônica: Função não paramétrica monotonamente não decrescente.
  3. Escalonamento de Temperatura (Temperature Scaling): Ajuste de logits em redes neurais.
• Análise Estatística:
  • Teste de soma de postos de Wilcoxon para comparar classes majoritárias e minoritárias.
  • Testes post-hoc de Dunn estratificados para avaliar a eficácia de cada método de calibração em relação à linha de base não calibrada.

3. Contribuições Principais

1. Conexão entre Calibração e Multiplicidade: O artigo estabelece empiricamente que a calibração atua como uma camada de "consenso", reduzindo a multiplicidade preditiva e a arbitrariedade algorítmica.
2. Viés Sistêmico nas Classes Minoritárias: Demonstra que observações da classe minoritária (aplicantes de alto risco) carregam um fardo desproporcional de multiplicidade, encontrando-se frequentemente em regiões de baixa confiança e alta obscuridade.
3. Eficácia Diferencial dos Métodos: Identifica que nem todos os métodos de calibração são igualmente eficazes para todas as classes. O Platt Scaling mostrou-se superior na harmonização de previsões para classes minoritárias, enquanto métodos não paramétricos (como Regressão Isotônica) tiveram desempenho variável.
4. Implicações Regulatórias: O trabalho oferece uma base técnica para atender aos requisitos do AI Act da UE, que exige transparência sobre a estabilidade das decisões para indivíduos específicos, não apenas métricas agregadas.

4. Resultados Chave

• Correlação Inversa: Existe uma forte correlação inversa entre a confiança da previsão e a multiplicidade. Em regiões de alta confiança (> 0.90), os modelos convergem; em regiões de baixa confiança (próximas ao limite de decisão), a obscuridade dispara.
• Fardo Desproporcional: Observações da classe minoritária apresentam pontuações de obscuridade significativamente mais altas e confiança significativamente mais baixa do que a classe majoritária ($p < .001$). Isso confirma que a arbitrariedade algorítmica afeta desproporcionalmente grupos marginalizados.
• Redução da Multiplicidade pela Calibração:
  • Todos os métodos de calibração reduziram a obscuridade global.
  • Platt Scaling e Regressão Isotônica foram os mais eficazes na redução da multiplicidade para a classe majoritária.
  • Para a classe minoritária, o Platt Scaling foi o único método que reduziu significativamente a obscuridade e ajustou a confiança de forma estatisticamente robusta. A Regressão Isotônica e o Escalonamento de Temperatura não produziram mudanças significativas na confiança da classe minoritária.
• Estabilidade: A calibração post-hoc atua como um mecanismo regularizador, fazendo com que modelos diversos converjam para estimativas de probabilidade alinhadas, reduzindo a variância nas decisões.

5. Significado e Conclusão

O artigo conclui que a calibração não é apenas uma correção de probabilidade, mas uma ferramenta potencial para justiça processual. Ao mitigar a multiplicidade preditiva, a calibração ajuda a garantir que as decisões algorítmicas sejam estáveis e não resultem de "sorte" na escolha do modelo.

• Recomendação Prática: Para tarefas de risco de crédito, especialmente com desequilíbrio de classes, a calibração deve ser vista como uma camada complementar essencial ao pré-processamento de dados.
• Escolha de Método: O Platt Scaling é recomendado como a abordagem mais robusta para reduzir a arbitrariedade em classes minoritárias neste contexto.
• Futuro: O estudo sugere que futuras pesquisas devem explorar objetivos de treinamento que incorporem restrições de multiplicidade diretamente e estender a análise para cenários multiclasse.

Em suma, o trabalho demonstra que integrar métricas de obscuridade e calibração no pipeline de desenvolvimento permite construir sistemas que são não apenas estatisticamente sólidos, mas também individualmente justos e estáveis.