Calibratable Disambiguation Loss for Multi-Instance Partial-Label Learning

Definição do Problema

O artigo aborda o Aprendizado de Rótulos Parciais de Múltiplas Instâncias (MIPL), um framework de supervisão fraca que combina os desafios do Aprendizado de Múltiplas Instâncias (MIL) e do Aprendizado de Rótulos Parciais (PLL). No MIPL, cada exemplo de treinamento consiste em uma "sacola" (bag) de instâncias onde as instâncias positivas não são identificadas (desafio do MIL), e o rótulo verdadeiro está oculto dentro de um conjunto de rótulos candidatos (desafio do PLL).

Embora os métodos de MIPL existentes foquem na desambiguação de rótulos (identificar o rótulo verdadeiro dentro do conjunto de candidatos), os autores identificam uma lacuna crítica: esses métodos frequentemente sofrem de má calibração do modelo. As abordagens existentes produzem pontuações de confiança que não refletem a probabilidade empírica de correção. Isso é particularmente problemático em aplicações sensíveis à decisão, como a classificação de imagens patológicas, onde as pontuações de confiança orientam a triagem e o diagnóstico. Os autores demonstram que adaptar ingenuamente técnicas de calibração do aprendizado totalmente supervisionado (como Focal Loss ou Inverse Focal Loss) para o MIPL falha porque a ausência de rótulos de verdade fundamental (ground-truth) leva a predições subconfiantes ou excessivamente confiantes e à redução da precisão de classificação.

Metodologia

Os autores propõem uma Perda de Desambiguação Calibrável (CDL) plug-and-play, projetada para melhorar tanto a precisão da classificação quanto a calibração sem comprometer o processo de desambiguação.

1. Mecanismo Central:
A CDL modula um objetivo de desambiguação baseado em momentum usando uma margem de predição top-vs-competidor. A função de perda é definida como:
$$L_{CDL} = -\sum_{c \in S_i} w^{(t)}_{i,c} (1 - q^{(t)}_i + \Phi(\hat{p}^{(t)}_i))^\gamma \log(\hat{p}^{(t)}_{i,c})$$
Onde:

• $q^{(t)}_i$ é a probabilidade prevista do rótulo candidato com maior ranking.
• $\Phi(\hat{p}^{(t)}_i)$ representa a probabilidade de um "competidor".
• O termo $(1 - \beta_i)^\gamma$ atua como um fator de modulação, onde $\beta_i = q^{(t)}_i - \Phi(\hat{p}^{(t)}_i)$ é a margem.

2. Duas Variantes:
O método introduz duas instanciações específicas baseadas em como o competidor é definido:

• CDL-CC (Candidate-vs-Competitor): O competidor é o segundo rótulo candidato com maior probabilidade. Esta variante enfatiza a separação ao nível de candidato.
• CDL-CN (Candidate-vs-Non-Candidate): O competidor é a maior probabilidade entre os rótulos não candidatos. Esta variante enfatiza a supressão candidato-vs-não-candidato.

3. Ponderação Adaptativa:
A perda emprega uma estratégia de atualização de peso baseada em momentum para os rótulos candidatos. Sacolas de baixa margem (casos ambíguos) retêm sinais de desambiguação fortes (peso de perda alto), enquanto sacolas bem separadas recebem menos incentivo para o excesso de refinamento de probabilidade, mitigando assim a excessiva confiança.

4. Integração:
A CDL é projetada para ser integrada perfeitamente em frameworks de MIPL de espaço incorporado (embedded-space) existentes. Os autores combinam a CDL com três mecanismos de atenção estabelecidos:

• Mecanismo de Atenção de Desambiguação (DAM)
• Mecanismo de Atenção Aditiva Escalada (SAM)
• Mecanismo de Atenção Sensível à Margem (MAM)
  Isso resulta em seis variantes (ex: DAMCC, SAMCN, MAMCC, etc.).

Análise Teórica

O artigo fornece uma análise teórica rigorosa da CDL sob três perspectivas:

1. Nível de Perda: Demonstra-se que a CDL é uma versão modulada por margem da Perda de Desambiguação Baseada em Momentum (MDL). Limites teóricos provam que a CDL preserva o sinal de ajuste da MDL para sacolas de baixa margem (ambíguas), enquanto reduz o peso de predições bem separadas.
2. Nível de Calibração: Os autores derivam um limite inferior e um limite de alinhamento de confiança de pseudo-rótulo. Eles mostram que minimizar o risco da CDL controla o alinhamento entre a confiança do modelo e os pesos dos pseudo-rótulos, que é um componente chave do Erro de Calibração Esperada (ECE).
3. Nível de Otimização: A análise de gradiente revela que a CDL introduz um termo adicional de "modelagem de margem". Este termo promove explicitamente um aumento na margem ativa top-vs-competidor durante a otimização. Além disso, através de atualizações de momentum, essas margens moldadas são transferidas recursivamente para futuros pesos de pseudo-rótulos, garantindo que o efeito de calibração persista através das épocas.

Resultados Experimentais

Os autores avaliaram sua abordagem em quatro conjuntos de dados de referência (MNIST-MIPL, FMNIST-MIPL, Birdsong-MIPL, SIVAL-MIPL) e sete conjuntos de dados do mundo real (incluindo várias configurações de CRC-MIPL para classificação de câncer colorretal).

• Precisão de Classificação: Os métodos propostos superaram seis baselines de estado da arte de MIPL (MIPLGP, DEMIPL, ELIMIPL, MIPLMA, PROMIPL, FASTMIPL) em 67 de 72 casos de referência. As melhorias foram particularmente significativas em cenários desafiadores com números mais altos de rótulos falsos-positivos (ex: até 23% de melhoria no MNIST-MIPL com $r=3$).
• Desempenho de Calibração: Os métodos reduziram significativamente o Erro de Calibração Esperada (ECE). Nos conjuntos de dados de referência, a CDL reduziu o ECE em mais de 50% em 26 de 60 casos, com uma redução média de 44,76%. Nos conjuntos de dados do mundo real, os métodos alcançaram uma redução de mais de 10% no ECE em 33 de 42 casos.
• Diagramas de Confiabilidade: A análise visual confirmou que, enquanto os métodos baseline agrupavam as predições em torno de valores de baixa confiança (ex: 0,25) apesar da alta precisão, as variantes da CDL produziram diagramas de confiabilidade onde a confiança prevista correspondia de perto à precisão empírica.

Significância e Contribuições

O artigo reivindica quatro contribuições primárias:

1. Identificação do Problema: É o primeiro trabalho a identificar e caracterizar problemas de calibração de modelo no MIPL, demonstrando que os métodos existentes centrados em desambiguação produzem estimativas de confiança mal calibradas.
2. Inovação Metodológica: A proposta da CDL, uma função de perda plug-and-play com duas instanciações complementares (CC e CN) que equilibram desambiguação e calibração via modulação de margem.
3. Fundamentação Teórica: Uma análise teórica abrangente estabelecendo a CDL como uma MDL modulada por margem, derivando limites de calibração e explicando a dinâmica de otimização através de análise de gradiente e momentum.
4. Validação Empírica: Experimentos extensos confirmando que a CDL melhora consistentemente tanto a precisão de classificação quanto o desempenho de calibração em diversos conjuntos de dados de referência e do mundo real, incluindo classificação de imagens patológicas.

Os autores concluem que a CDL oferece uma solução robusta para o MIPL, permitindo a construção de modelos preditivos que não são apenas precisos, mas também confiáveis em suas estimativas de confiança, o que é crucial para o deployment no mundo real em campos como o diagnóstico médico.