Resumo Técnico: FALCON-Discover

Definição do Problema

A pesquisa atual em calibração avalia predominantemente a confiança do modelo em um nível agregado (por exemplo, Erro de Calibração Esperado, escore de Brier), verificando se as probabilidades previstas alinham-se com a correção empírica em média através de uma população. Embora indispensável, essa perspectiva é incompleta porque falha em abordar o modo de falha operacionalmente mais perigoso: um subconjunto pequeno e concentrado de previsões que permanecem altamente confiantes, apesar de estarem incorretas. Esses erros de "falsa-confiança" são frequentemente os mais consequentes porque escapam da inspeção manual e desencadeiam decisões prejudiciais a jusante. Os métodos de calibração post-hoc existentes (ex: escalonamento de temperatura, regressão isotônica) focam em remodelar distribuições de escores globalmente ou em construir melhores escores de confiança escalares, mas negligenciam amplamente a questão estrutural de saber se erros confiantes perigosos ocupam uma fatia compacta e de fácil descoberta no espaço de previsão. Este artigo reformula o problema de um alinhamento global de escores para a descoberta de discrepâncias: identificar regiões onde confiança, suporte local e estabilidade estrutural divergem.

Metodologia: FALCON-Discover

O artigo introduz o FALCON-Discover, um framework post-hoc e agnóstico ao modelo, projetado para detectar e localizar regiões concentradas de falsa-confiança sem alterar o classificador subjacente. O método opera em um paradigma de "aprendizado de previsão-para-estrutura", mapeando o comportamento de previsão de dados não utilizados (held-out) em um estado de discrepância estruturada, em vez de reduzi-lo a um único escore escalar.

1. Construção de Sinais

O framework decompõe a confiabilidade em três famílias complementares de sinais para cada amostra $x$:

• Certeza Nativa: Captura o compromisso do modelo com sua decisão usando margem ($|2p(x)-1|$) e entropia.
• Suporte Local e Concordância: Determina se a decisão está fundamentada em dados de treinamento próximos. Isso inclui um escore de suporte normalizado baseado na distância do manifold de treinamento e concordância de vizinhança (consistência de rótulo entre os $k$-vizinhos mais próximos).
• Estabilidade Estrutural: Mede a robustez da previsão sob perturbações controladas que preservam o suporte. As amostras são parcialmente misturadas com vizinhos próximos, e a estabilidade é quantificada via desvio de probabilidade média ($\Delta_{mean}$), desvio máximo ($\Delta_{max}$), consistência de rótulo ($LC$) e variância de logit.

Esses sinais formam uma representação estruturada $\psi(x)$, que serve como entrada para operações subsequentes.

2. Classificação e Descoberta

O framework emprega uma família de regras de classificação conscientes de discrepância para evidenciar erros perigosos:

• Regra Centrada em Estabilidade ($s_{stab}$): Um escore analítico simples que pondera o desvio de probabilidade e a inconsistência de rótulo.
• Escore de Discrepância Analítica Fixa ($s_{disc}$): Uma agregação grosseira e monótona de pistas de conflito (certeza, instabilidade, colapso de suporte) com pesos ordinais para servir como uma testemunha orientada à falsificação.
• Classificador de Discrepância Aprendido ($q_\theta$): Um modelo de logit linear ponderado treinado em dobras de validação para combinar sinais de discrepância, com uma função objetivo que enfatiza eventos de falsa-confiança.

3. Saídas Operacionais

A representação estruturada $\psi(x)$ permite três operações distintas:

1. Classificação (Ranking): Ordenar amostras para maximizar a captura de eventos de falsa-confiança dentro de um orçamento de revisão fixo (ex: os 20% superiores).
2. Localização: Agrupar a representação de discrepância para identificar regiões compactas de alto risco.
3. Orientação de Calibração: Derivar um perfil de ponderação consciente de discrepância ($w_{cal}$) para alocar ênfase de treinamento a amostras estruturalmente suspeitas em etapas futuras de calibração.

O cross-fitting rigoroso é aplicado para garantir que todas as características de discrepância sejam construídas a partir de previsões de fora da dobra (out-of-fold) ou de dados não utilizados, evitando vazamento de dados (data leakage).

Principais Contribuições

1. Formalização da Concentração de Falsa-Confiança: O artigo define a concentração de falsa-confiança como um objeto de confiabilidade estrutural — a recuperabilidade de fatias de erro compactas e de alto risco que estão ocultas por resumos de calibração agregados.
2. Aprendizado de Previsão-para-Estrutura: Introduz um paradigma post-hoc onde o comportamento de previsão de dados não utilizados é elevado a um estado de discrepância reutilizável, distinto da construção de um novo escore de confiança ou classificador.
3. Caracterização de Regimes: O trabalho caracteriza quando a concentração ocorre, identificando três regimes empíricos:
   • Regimes Fortes: Amplificação clara de conflito em fatias recuperáveis.
   • Regimes Mistos: Amplificação mais fraca ou dependente do backbone.
   • Regimes de Fronteira: Eventos esparsos onde estimativas de concentração confiáveis são difíceis de obter.
4. Descoberta em Nível de Família: O artigo demonstra que o detector mais forte varia conforme o regime (classificador de discrepância aprendido vs. regras centradas em estabilidade), estabelecendo o problema como um desafio de descoberta em nível de família, em vez de uma afirmação de dominância de um único escore.
5. Evidência Controlada: Fornece evidências multidetalhes em sete conjuntos de dados tabulares binários heterogêneos usando aprendizes base fortes (XGBoost, CatBoost) e cross-fitting rigoroso.

Resultados Experimentais

O framework foi avaliado em sete conjuntos de dados (Adult, Bank Marketing, MiniBooNE, Magic Telescope, Nomao, Spambase, Phoneme) usando quatro sementes e cross-fitting de cinco dobras, com um limiar de confiança fixo $\tau=0.90$ e orçamentos de revisão de até 20%.

• Desempenho: Em regimes fortes (Adult, Bank Marketing, MiniBooNE), a família de discrepância superou substancialmente as bases de comparação mais fortes selecionadas por validação (ex: TrustScore, Beta Scaling). Por exemplo, no conjunto de dados Adult, a AUROC da família melhorou de 0.525 para 0.847, e o Capture@20 aumentou de 0.108 para 0.728.
• Variabilidade do Detector: O "melhor" membro da família dependia do regime. Classificadores de discrepância aprendidos performaram melhor quando múltiplas pistas de conflito exigiam combinação conjunta, enquanto regras centradas em estabilidade foram superiores em regimes onde a fragilidade decisória local predominava (ex: Nomao, Spambase).
• Comparação com Baselines: A classificação de confiança bruta recuperou pouca massa de erro perigoso. A abordagem consciente de discrepância superou significativamente a classificação aleatória e os padrões de calibração comuns na captura da massa de falsa-confiança dentro de pequenos orçamentos de revisão.
• Sensibilidade ao Regime: Em "regimes mistos" (Magic Telescope), preditores base mais fortes absorveram a estrutura local, reduzindo o espaço residual para descoberta post-hoc. Em "regimes de fronteira" (Phoneme), eventos esparsos de falsa-confiança enfraqueceram a força evidencial de todos os métodos.

Significância e Alegações

O artigo alega que a concentração de falsa-confiança é uma propriedade real, mensurável e dependente de regime de modelos treinados. A principal contribuição não é um novo classificador ou um escore universalmente dominante, mas uma visão estrutural da falha de calibração.

Os autores argumentam que a análise de calibração deve mudar de apenas alinhar escores com frequências para revelar explicitamente onde as previsões se tornam estruturalmente inseguras para confiar. Ao tratar a excessiva confiança perigosa como um objeto estrutural de descoberta, o FALCON-Discover permite monitoramento direcionado, abstenção seletiva e refinamento de calibração focado nas regiões específicas onde confiança, suporte e estabilidade divergem. O trabalho estabelece que a falha de confiabilidade é estruturada em vez de meramente escalar, motivando estratégias futuras que visem explicitamente essas regiões de discrepância concentrada. Os autores mantêm a modéstia, observando que o framework atual é definido para dados tabulares binários e que estender os princípios de suporte e estabilidade para outras modalidades (visão, linguagem) requer definições específicas de modalidade.