🤖 machine learning

Calibratable Disambiguation Loss for Multi-Instance Partial-Label Learning

Cet article propose une perte de désambiguïsation calibrable (CDL) prête à l'emploi qui module un objectif basé sur une marge afin d'améliorer simultanément la précision de la classification et la calibration du modèle dans l'apprentissage par étiquettes partielles multi-instances, répondant ainsi aux problèmes de fiabilité inhérents aux approches MIPL existantes.

Auteurs originaux : Wei Tang, Yin-Fang Yang, Weijia Zhang, Min-Ling Zhang

Publié 2026-07-15

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Wei Tang, Yin-Fang Yang, Weijia Zhang, Min-Ling Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous soyez un détective tentant de résoudre un mystère, mais que vous soyez confronté à deux gros problèmes. Premièrement, vous n'avez pas l'occasion de voir toute la scène du crime d'un seul coup d'œil ; vous ne voyez que de minuscules indices éparpillés (des fragments d'une photo) et vous devez deviner ce qui s'est passé dans toute la pièce. Deuxièmement, lorsque vous interrogez une foule pour obtenir le nom du suspect, ils ne vous donnent pas un seul nom. Ils vous donnent une liste de trois ou quatre noms, en disant : « Cela pourrait être l'un de ceux-là ! », mais ils ne vous diront pas lequel est réellement le coupable.

C'est la réalité désordonnée de l'Apprentissage Multi-Instance à Étiquettes Partielles (MIPL - Multi-Instance Partial-Label Learning). C'est une façon extrêmement complexe pour les ordinateurs d'apprendre à partir de données imparfaites. Le papier que vous lisez s'attaque à un casse-tête spécifique lié à cela : la confiance.

Le Problème : Le Détective Trop Confiant (ou Pas Assez)

Par le passé, les ordinateurs essayant de résoudre ces énigmes MIPL étaient comme des détectives soit trop effrayés pour prendre une décision, soit bien trop sûrs d'eux lorsqu'ils se trompaient.

Les auteurs ont découvert que les méthodes existantes (comme DEMIPL, ELIMIPL et MIPLMA) étaient terribles pour savoir à quel point elles devaient être sûres d'elles. Si un ordinateur disait : « Je suis sûr à 90 % qu'il s'agit d'une tumeur », il n'avait souvent raison que 60 % du temps. Ou, s'il disait : « Je n'en suis sûr qu'à 25 % », il avait en réalité raison 80 % du temps.

Dans le monde réel, c'est dangereux. Imaginez un médecin utilisant une IA pour examiner une lame de pathologie (une image de cellules). Si l'IA dit : « Je suis sûr à 90 % qu'il s'agit d'un cancer », le médecin pourrait se précipiter pour commencer le traitement. Mais si l'IA n'a en réalité raison que 60 % du temps, c'est un désastre. L'ordinateur doit être calibré : s'il dit « 90 % », il doit avoir raison 90 % du temps.

Le papier argumente explicitement contre une solution simple que les gens ont d'abord essayée : simplement prendre la « Focal Loss » standard (un outil généralement utilisé quand on connaît la réponse exacte) et l'appliquer brutalement à ce problème MIPL désordonné. Les auteurs ont montré qu'en faisant cela naïvement, on rendait l'ordinateur soit trop timide (sous-confiant), soit trop arrogant (sur-confiant), et cela rendait en fait l'ordinateur moins performant pour trouver la bonne réponse.

La Solution : La Marge « Top vs. Compétiteur »

Alors, qu'ont inventé les auteurs ? Ils ont créé un nouvel outil appelé Perte de Désambiguïsation Calibrable (CDL - Calibratable Disambiguation Loss).

Imaginez le cerveau de l'ordinateur comme un étudiant passant un examen à choix multiples où le professeur ne lui a donné qu'une liste de réponses possibles (l'ensemble des candidats). L'étudiant doit choisir la bonne parmi cette liste.

Dans les anciennes méthodes, l'étudiant essayait simplement de crier : « Je connais la réponse ! » et de pousser sa réponse choisie vers une confiance de 100 % le plus vite possible. Cela a conduit au problème de la « sur-confiance ».

La nouvelle méthode CDL est comme un professeur strict qui dit : « Ne te contente pas de crier pour ta réponse. Regarde tes compétiteurs ».

Le Compétiteur : C'est le deuxième meilleur choix que l'ordinateur fait.
La Règle : L'ordinateur n'est autorisé à devenir super confiant que si son premier choix est clairement meilleur que le deuxième.

Si l'ordinateur est en difficulté et que son premier choix et son deuxième choix sont au coude-à-coude (une petite « marge »), la CDL dit : « D'accord, continue de travailler dur, ne sois pas trop sûr de toi pour l'instant ». Mais si le premier choix est largement en tête par rapport au compétiteur, la CDL dit : « Bon travail ! Tu peux te détendre et être confiant maintenant ».

Cela crée deux variantes de l'outil :

CDL-CC : Compare le premier choix contre le deuxième meilleur candidat (comme comparer le 1er et le 2e coureur dans une course).
CDL-CN : Compare le premier choix contre le plus fort non-candidat (comme comparer le 1er coureur contre la meilleure personne qui n'était même pas autorisée à courir).

Les Résultats : Prouvés par les Chiffres

Les auteurs n'ont pas seulement supposé que cela fonctionnerait ; ils ont testé cela sur un certain nombre de jeux de données, incluant des images de pathologie réelles de cancer colorectal et des jeux de données d'images standards comme MNIST.

Voici ce qu'ils ont trouvé, avec les chiffres exacts de leurs expériences :

Une meilleure précision : Sur le jeu de données Birdsong-MIPL, l'ancienne meilleure méthode (DEMIPL) obtenait 74,36 % de précision. Leur nouvelle méthode (DAMCN) a bondi à 80,38 %. Sur le jeu de données SIVAL-MIPL avec trois étiquettes erronées mélangées, ils ont amélioré la précision de façon massive de 18,58 % par rapport à l'ancienne méthode.
Une bien meilleure calibration : C'est la grande victoire. Les anciennes méthodes avaient une « Erreur de Calibration Attendue » (ECE) terrible, qui mesure l'écart entre leur confiance et la réalité.
- Sur le jeu de données Birdsong-MIPL avec trois étiquettes erronées, l'ancienne méthode (DEMIPL) avait une ECE de 53,42 %. C'est un écart énorme entre ce qu'elles disaient et ce qui était vrai.
- Leur nouvelle méthode (DAMCN) a réduit cette erreur à 4,52 %.
- Au total, sur 60 cas de test différents sur des jeux de données de référence, leur méthode a réduit l'erreur de calibration de plus de 50 % dans 26 de ces cas. La réduction moyenne était de 44,76 %.

Le Verdict

Le papier prouve qu'en ajoutant cette règle de « marge » — forcer l'ordinateur à vérifier à quel point son meilleur choix est meilleur que celui du dauphin — on peut corriger la confiance de l'ordinateur sans nuire à sa capacité à trouver la bonne réponse.

Ils ont montré que cela fonctionne sur tout, des puzzles d'images simples aux images médicales complexes où ils ont utilisé le deep learning pour diviser les images en 9, 16 ou même 25 petits patchs. Plus l'image est complexe, plus leur nouvelle méthode est efficace, certaines versions réduisant l'erreur de calibration de 33,32 % sur les jeux de données de cancer les plus difficiles.

Ainsi, la prochaine fois que vous verrez une IA faire un diagnostic médical, vous pouvez espérer qu'elle utilise une méthode comme celle-ci : une méthode qui sait exactement de quoi elle est sûre, parce qu'elle a appris à respecter ses compétiteurs avant de commencer à crier : « J'ai raison ! »

Énoncé du problème

L'article traite de l'apprentissage par étiquetage partiel multi-instances (Multi-Instance Partial-Label Learning - MIPL), un cadre de supervision faible qui combine les défis de l'apprentissage multi-instances (MIL) et de l'apprentissage par étiquetage partiel (PLL). En MIPL, chaque exemple d'entraînement consiste en un « sac » d'instances où les instances positives sont non identifiées (défi MIL), et l'étiquette réelle est cachée au sein d'un ensemble d'étiquettes candidates (défi PLL).

Alors que les méthodes MIPL existantes se concentrent sur la désambiguïsation des étiquettes (identifier la véritable étiquette parmi l'ensemble des candidates), les auteurs identifient une lacune critique : ces méthodes souffrent souvent d'une mauvaise calibration du modèle. Les approches existantes produisent des scores de confiance qui ne reflètent pas la probabilité empirique de correction. Cela est particulièrement problématique dans les applications sensibles aux décisions, comme la classification d'images de pathologie, où les scores de confiance guident le triage et le diagnostic. Les auteurs démontrent que l'adaptation naïve des techniques de calibration de l'apprentissage entièrement supervisé (telles que la Focal Loss ou l'Inverse Focal Loss) à la MIPL échoue car l'absence d'étiquettes de vérité terrain conduit à des prédictions sous-confiantes ou sur-confiantes et à une réduction de la précision de classification.

Méthodologie

Les auteurs proposent une perte de désambiguïsation calibrable (Calibratable Disambiguation Loss - CDL) « plug-and-play », conçue pour améliorer à la fois la précision de la classification et la calibration sans compromettre le processus de désambiguïsation.

1. Mécanisme central :
La CDL module un objectif de désambiguïsation basé sur le momentum en utilisant une marge de prédiction top-vs-competitor (sommet contre concurrent). La fonction de perte est définie par :
$L_{CDL} = -\sum_{c \in S_i} w^{(t)}_{i,c} (1 - q^{(t)}_i + \Phi(\hat{p}^{(t)}_i))^\gamma \log(\hat{p}^{(t)}_{i,c})$
Où :

$q^{(t)}_i$ est la probabilité prédite de l'étiquette candidate la mieux classée.
$\Phi(\hat{p}^{(t)}_i)$ représente la probabilité d'un « concurrent ».
Le terme $(1 - \beta_i)^\gamma$ agit comme un facteur de modulation, où $\beta_i = q^{(t)}_i - \Phi(\hat{p}^{(t)}_i)$ est la marge.

2. Deux variantes :
La méthode introduit deux instanciations spécifiques basées sur la manière dont le concurrent est défini :

CDL-CC (Candidate-vs-Candidate) : Le concurrent est la deuxième étiquette candidate la plus élevée. Cette variante met l'accent sur la séparation au niveau des candidates.
CDL-CN (Candidate-vs-Non-Candidate) : Le concurrent est la probabilité la plus élevée parmi les étiquettes non-candidates. Cette variante met l'accent sur la suppression candidate-vs-non-candidate.

3. Pondération adaptative :
La perte emploie une stratégie de mise à jour de poids basée sur le momentum pour les étiquettes candidates. Les sacs à faible marge (cas ambigus) conservent des signaux de désambiguïsation forts (poids de perte élevé), tandis que les sacs bien séparés reçoivent moins d'incitation à un aiguisage excessif des probabilités, évitant ainsi la sur-confiance.

4. Intégration :
La CDL est conçue pour être intégrée de manière transparente dans les cadres MIPL à espace embarqué existants. Les auteurs combinent la CDL avec trois mécanismes d'attention établis :

Mécanisme d'attention de désambiguïsation (DAM)
Mécanisme d'attention additive mise à l'échelle (SAM)
Mécanisme d'attention sensible à la marge (MAM)
Cela produit six variantes (ex: DAMCC, SAMCN, MAMCC, etc.).

Analyse théorique

L'article fournit une analyse théorique rigoureuse de la CDL selon trois perspectives :

Au niveau de la perte : Il est démontré que la CDL est une version modulée par la marge de la perte de désambiguïsation basée sur le momentum (MDL). Les bornes théoriques prouvent que la CDL préserve le signal d'ajustement de la MDL pour les sacs à faible marge (ambigus) tout en réduisant le poids des prédictions bien séparées.
Au niveau de la calibration : Les auteurs dérivent une borne inférieure et une borne d'alignement de confiance de pseudo-étiquette. Ils montrent que la minimisation du risque CDL contrôle l'alignement entre la confiance du modèle et les poids des pseudo-étiquettes, ce qui est un composant clé de l'erreur de calibration attendue (Expected Calibration Error - ECE).
Au niveau de l'optimisation : L'analyse des gradients révèle que la CDL introduit un terme supplémentaire de « façonnage de marge » (margin-shaping). Ce terme promeut explicitement une augmentation de la marge active top-vs-competitor pendant l'optimisation. De plus, grâce aux mises à jour par momentum, ces marges façonnées sont transférées de manière récursive aux futurs poids de pseudo-étiquettes, garantissant que l'effet de calibration persiste à travers les époques.

Résultats expérimentaux

Les auteurs ont évalué leur approche sur quatre ensembles de données de référence (MNIST-MIPL, FMNIST-MIPL, Birdsong-MIPL, SIVAL-MIPL) et sept ensembles de données du monde réel (incluant diverses configurations de CRC-MIPL pour la classification du cancer colorectal).

Précision de classification : Les méthodes proposées ont surpassé six bases de comparaison MIPL de l'état de l'art (MIPLGP, DEMIPL, ELIMIPL, MIPLMA, PROMIPL, FASTMIPL) dans 67 cas sur 72 de tests de référence. Les améliorations ont été particulièrement significatives dans les scénarios difficiles avec un nombre élevé d'étiquettes faux-positifs (par exemple, une amélioration allant jusqu'à 23 % sur MNIST-MIPL avec $r=3$ ).
Performance de calibration : Les méthodes ont considérablement réduit l'erreur de calibration attendue (ECE). Sur les ensembles de données de référence, la CDL a réduit l'ECE de plus de 50 % dans 26 cas sur 60, avec une réduction moyenne de 44,76 %. Sur les ensembles de données réels, les méthodes ont obtenu une réduction de l'ECE de plus de 10 % dans 33 cas sur 42.
Diagrammes de fiabilité : L'analyse visuelle a confirmé que, tandis que les méthodes de base regroupaient les prédictions autour de valeurs de faible confiance (ex: 0,25) malgré une précision élevée, les variantes CDL ont produit des diagrammes de fiabilité où la confiance prédite correspondait étroitement à la précision empirique.

Signification et contributions

L'article revendique quatre contributions principales :

Identification du problème : C'est le premier travail à identifier et caractériser les problèmes de calibration de modèle en MIPL, démontant que les méthodes existantes centrées sur la désambiguïsation produisent des estimations de confiance mal calibrées.
Innovation méthodologique : La proposition de la CDL, une fonction de perte « plug-and-play » avec deux instanciations complémentaires (CC et CN) qui équilibrent la désambiguïsation et la calibration via la modulation de marge.
Fondement théorique : Une analyse théorique complète établissant la CDL comme une MDL modulée par la marge, dérivant des bornes de calibration et expliquant la dynamique d'optimisation par l'analyse du gradient et du momentum.
Validation empirique : Des expériences approfondies confirmant que la CDL améliore systématiquement la précision de la classification et la performance de la calibration à travers divers ensembles de données de référence et réels, y compris la classification d'images de pathologie.

Les auteurs concluent que la CDL offre une solution robuste pour la MIPL, permettant la construction de modèles prédictifs qui sont non seulement précis, mais aussi fiables dans leurs estimations de confiance, ce qui est crucial pour le déploiement dans le monde réel, notamment dans les domaines du diagnostic médical.