Density-Ratio Losses for Post-Hoc Learning to Defer

Enunciado do Problema
A Aprendizagem para Adiar (L2D) aborda o desafio de implantar modelos de aprendizado de máquina (ML) em domínios de alto risco (por exemplo, saúde, finanças), onde a confiabilidade é primordial. O objetivo é permitir que um modelo se abstenha de fazer uma previsão e, em vez disso, adie para um especialista (potencialmente humano) quando a saída do modelo for considerada não confiável. Embora a Aprendizagem para Rejeitar (L2R) permita que os modelos se abstenham com base em sua própria confiança, a L2D incorpora explicitamente um especialista no processo de treinamento para aprender quando é provável que o especialista supere o modelo.

Uma restrição crítica no ML moderno é o cenário "post-hoc", onde um modelo base pré-treinado $h$ é fixo, e apenas o mecanismo de adiamento (rejetor) $r$ é aprendido. O retreinamento de grandes modelos é frequentemente proibitivamente caro. As abordagens post-hoc existentes frequentemente dependem de heurísticas simples (por exemplo, limiares de confiança) ou tentam estimar alvos de comparação ponto a ponto com o especialista (prevendo quando o especialista está correto e o modelo não). No entanto, esses métodos podem falhar sob deslocamentos de distribuição ou quando os especialistas são especializados. Além disso, muitos métodos existentes exigem retreinamento para ajustar a taxa de adiamento, limitando sua adaptabilidade.

Metodologia
O artigo propõe um novo framework para L2D post-hoc baseado em distribuições ideais e estimação de razão de densidade.

1. Distribuições Ideais: Os autores definem uma "distribuição ideal" como um reponderamento regularizado por divergência da verdadeira distribuição de dados $P$, sob a qual um par específico classificador-perda atinge baixa perda. Eles introduzem dois tipos:

   • Ideal Marginal ($Q_m$): Otimizado sobre o espaço de observação $X$.
   • Ideal Conjunto ($Q_j$): Otimizado sobre o espaço conjunto $X \times Y$.
     Para a divergência de Kullback-Leibler (KL), essas ideais são mostradas como reponderamentos multiplicativos da distribuição de dados, onde os pesos dependem da perda esperada do classificador (ou especialista) sob a posteriori de classe Bayesiana.

2. Regra de Adiamento por Razão de Densidade: Em vez de aprender um rejetor binário diretamente, os autores definem o adiamento comparando as distribuições ideais do modelo $h$ e do especialista $h^{(e)}$. A decisão de adiamento é feita ao aplicar um limiar na razão de densidade $\rho(x) = \frac{dQ_i(x)}{dQ^{(e)}_i(x)}$.

   • Se a observação $x$ for melhor explicada pela distribuição ideal do especialista (ou seja, a razão é baixa), o modelo adia.
   • Esta abordagem separa naturalmente o pontuador (o estimador de razão de densidade) do limiar de adiamento, permitindo que a taxa de adiamento seja ajustada após o treinamento sem retreinar o pontuador.

3. Conexões Teóricas:

   • Regra de Chow: Para ideais marginais de KL, a regra derivada recupera a clássica Regra de Chow sob a distribuição original de dados.
   • Posterior Tiltada pelo Especialista: Para ideais conjuntas de KL, a regra corresponde a uma decisão estilo Chow sob uma distribuição "tiltada pelo especialista". Esta distribuição repondera os rótulos com base na perda do especialista, incorporando efetivamente a vantagem comparativa do especialista na decisão de adiamento.
   • Teste de Hipóteses: A regra de adiamento é enquadrada como um teste de hipóteses de Neyman-Pearson que distingue entre a distribuição ideal do modelo e a distribuição ideal do especialista.

4. Perdas DR CPE: Como as distribuições ideais dependem da posteriori Bayesiana desconhecida e exigem acesso ponto a ponto ao especialista (o qual não está disponível no tempo de teste), os autores não podem usar soluções de forma fechada. Em vez disso, eles reduzem a Estimação de Razão de Densidade (DRE) à Estimação de Probabilidade de Classe (CPE).

   • Eles derivam uma família de perdas DR CPE ($L_m$ e $L_j$) que permitem aprender a razão de densidade entre as distribuições ideais do modelo e do especialista por meio de uma tarefa de classificação binária.
   • A perda DR CPE conjunta ($L_j$) é mostrada como praticamente estimável e serve como um limite superior para a perda marginal ($L_m$).
   • O artigo estabelece conexões entre esta abordagem e métodos existentes de estimação de comparação com especialistas (por exemplo, regressão na diferença de precisão zero-um) e detecção de anomalias.

Contribuições Principais

• Formulação Distribucional: O artigo introduz um framework de L2D post-hoc baseado na comparação de distribuições ideais do modelo e do especialista, em vez da estimativa direta de desempenho ponto a ponto.
• Ideais Marginais vs. Conjuntas: Analisa a distinção entre distribuições ideais marginais e conjuntas, mostrando que a regra conjunta corresponde ao adiamento sob uma distribuição tiltada pelo especialista, o que é pragmaticamente significativo pois leva em conta as forças específicas do especialista.
• Perdas DR CPE: Os autores derivam uma nova família de funções de perda (DR CPE) que permitem aprender regras de adiamento por meio de estimação padrão de probabilidade de classe, fechando a lacuna entre distribuições ideais teóricas e aprendizado prático.
• Adaptabilidade: O método desacopla o pontuador do limiar, permitindo o ajuste das taxas de adiamento sem retreinamento.

Resultados Experimentais
Os autores avaliam sua abordagem DR CPE nos conjuntos de dados CIFAR-100 e MedMNIST sob várias configurações de corrupção (ruído de rótulo, distribuições de cauda longa e subconjuntos de especialistas).

• Competitividade: A abordagem DR CPE desempenha de forma competitiva contra bases comuns, incluindo heurísticas baseadas em confiança, métodos de perda de substituição em dois estágios e estimadores de comparação com especialistas.
• Robustez: O método demonstra robustez superior em diferentes combinações de corrupção de conjuntos de dados em comparação com as bases. Por exemplo, enquanto outros métodos lutam significativamente em subconjuntos de especialistas (por exemplo, DermaMNIST especialista), a DR CPE mantém desempenho estável.
• Ablação: Experimentos mostram que a escolha da função de perda (por exemplo, Entropia Cruzada Generalizada vs. Zero-Um Probabilístico) e o parâmetro de temperatura $\gamma$ afetam o desempenho, mas a abordagem conjunta DR CPE permanece robusta.

Significado e Alegações
O artigo alega enquadrar a L2D post-hoc como um problema de aprendizado de razão de densidade entre distribuições ideais. Esta perspectiva:

• Fecha a lacuna entre regras clássicas estilo Chow e métodos modernos de comparação com especialistas.
• Esclarece conexões com configurações de aprendizado relacionadas, como detecção de anomalias.
• Fornece um método fundamentado teoricamente que é prático, robusto e adaptável, abordando as limitações do retreinamento de grandes modelos e a instabilidade de heurísticas simples em ambientes de alto risco e deslocados.

Os autores observam que, embora sua abordagem não forneça atualmente garantias de consistência para perdas de substituição (uma limitação teórica em comparação com alguns métodos end-to-end), ela oferece uma solução prática e robusta para o adiamento post-hoc que aproveita efetivamente informações de especialistas sem exigir o retreinamento completo do modelo.