Robust Ambiguity Detection (RAD) From Model- and Feature-Space Consistency

Imaginez que vous soyez un juge dans un tribunal à enjeux élevés, mais au lieu d'un seul juge, vous avez un panel d'experts. Ils sont tous aussi brillants les uns que les autres, ont étudié exactement les mêmes dossiers et ont réussi les mêmes examens rigoureux. Habituellement, ils sont tous d'accord sur le verdict. Mais parfois, ils ne le sont pas. Peut-être que cinq disent « Coupable » et cinq disent « Non coupable ». C'est déroutant, mais au moins vous savez que le désaccord existe.

Maintenant, imaginez un scénario plus complexe. Les dix experts sont tous d'accord sur le verdict pour un défendeur spécifique. Pourtant, si vous changez un seul petit détail de l'histoire — comme dire que le défendeur est arrivé une seconde plus tard, ou qu'il portait un chapeau légèrement différent — l'ensemble du panel bascule soudainement vers le vote opposé. Ou encore, imaginez deux défendeurs qui sont presque des jumeaux identiques, pourtant l'un reçoit un verdict de « Coupable » tandis que l'autre reçoit un verdict de « Non coupable », simplement parce que la ligne de décision entre eux est tracée de manière vacillante et incertaine. Dans le monde de l'apprentissage automatique (machine learning), où les ordinateurs prennent des décisions concernant des prêts, des diagnostics médicaux ou des admissions à l'université, ces prédictions « vacillantes » sont dangereuses. On les appelle l'ambiguïté. Si un modèle informatique ne peut pas maintenir sa position lorsque les choses changent légèrement, ou s'il n'est pas d'accord avec ses propres modèles jumeaux, nous ne pouvons pas lui faire confiance. Ce document traite de la création d'une meilleure façon de repérer ces prédictions fragiles et peu fiables avant qu'elles ne causent des problèmes dans le monde réel.

---

Le détecteur « RAD » : Débusquer les prédictions vacillantes

Les auteurs de ce document, Manya Singh, Mark T. Keane et Arjun Pakrashi de l'University College Dublin, ont construit un nouvel outil appelé RAD (Robust Ambiguity Detection - Détection de l'Ambiguïté Robuste). Considérez RAD comme une machine de test de résistance pour les prédictions de l'IA. Au lieu de simplement demander : « Que pense l'IA ? », RAD demande : « Que pense l'IA si nous modifions légèrement l'entrée ? Et qu'en pensent ses modèles jumeaux ? »

Pour comprendre comment fonctionne RAD, utilisons l'analogie d'un videur de boîte de nuit.

La configuration : Un panel de videurs

Imaginez un club avec une politique d'entrée très stricte. Pour s'assurer que la politique est équitable, le club engage 10 videurs différents (ce sont les modèles équivalents). Ils sont tous formés selon les mêmes règles et sont tous aussi doués dans leur travail.

• L'entrée (Input) : Une personne essayant d'entrer (le point de donnée).
• La perturbation : On demande aux videurs d'imaginer de légers changements dans l'apparence de la personne. Peut-être imaginent-ils que la personne porte un chapeau différent, ou qu'elle se tient une pouce plus à gauche (ce sont les perturbations locales).

L'« Matrice d'ambiguïté » : La fiche de score

RAD crée une immense fiche de score (appelée matrice d'ambiguïté) pour suivre ce qui se passe.

• Lignes : Les 10 videurs.
• Colonnes : La personne originale plus toutes les versions « imaginées » d'elle-même (les voisins).
• Les cellules : Chaque videur a-t-il dit « Oui » ou « Non » pour chaque version ?

Si les videurs disent tous « Oui » pour la personne originale et pour toutes les versions légèrement modifiées, la prédiction est Robuste. Elle est solide. Mais si les videurs commencent à se disputer entre eux, ou s'ils changent d'avis juste parce que la personne a bougé le pied, c'est de l'Ambiguïté.

Le graphique RAD : Les quatre coins de la confusion

Le document transforme cette fiche de score en un graphique simple appelé le Graphique RAD. Imaginez un carré divisé en quatre coins. L'endroit où se trouve une prédiction vous indique exactement pourquoi elle est fragile :

1. En haut à droite (Le coin « Solide comme le roc ») : Tous les videurs sont d'accord, et ils sont d'accord même quand la personne bouge. C'est une prédiction Robuste. Vous pouvez lui faire confiance.
2. En haut à gauche (Le coin « Videurs qui se chamaillent ») : Les videurs restent tous cohérents avec eux-mêmes (s'ils disent « Oui » avec le chapeau, ils disent « Oui » sans le chapeau), mais ils ne sont pas d'accord entre eux. Un videur pense que les règles disent « Oui », un autre pense « Non ». C'est l'Ambiguïté de l'Espace-Modèle. Le problème n'est pas la personne ; c'est que les videurs ont appris des versions différentes des règles.
3. En bas à droite (Le coin « Videurs vacillants ») : Tous les videurs sont généralement d'accord entre eux, mais ils sont tous confus par les légers mouvements de la personne. Si la personne bouge d'un pouce, ils passent de « Oui » à « Non ». C'est l'Ambiguïté de l'Espace-Caractéristiques. La personne se trouve juste sur le bord de la ligne de décision, et les règles sont trop sensibles.
4. En bas à gauche (Le coin « Chaos total ») : Les videurs ne sont pas d'accord entre eux, et ils ne parviennent même pas à être d'accord avec eux-mêmes quand la personne bouge. C'est le pire type d'ambiguïté. La prédiction est peu fiable pour toutes les raisons.

Qu'ont-ils découvert ?

Les auteurs ont testé RAD sur deux types de données :

1. Données fictives (Synthétiques) : Ils ont créé des mondes générés par ordinateur où ils pouvaient contrôler exactement à quel point les groupes « Oui » et « Non » se chevauchaient. Ils ont découvert que plus les groupes étaient mélangés, plus les prédictions s'éloignaient du coin « Solide comme le roc » pour entrer dans les coins « Vacillants » ou « Chaos ». Cela a prouvé que RAD peut réellement détecter quand les choses deviennent confuses.
2. Données du monde réel : Ils ont utilisé des ensembles de données réels (comme les défauts de paiement de cartes de crédit, les risques de maladies cardiaques et même les chiffres écrits à la main du jeu de données MNIST). Comme on ne peut pas « voir » les lignes de décision dans ces ensembles de données complexes, RAD a agi comme un scanner X, montrant quelles prédictions étaient probablement fragiles.

Le grand bénéfice : Savoir quand dire « Je ne sais pas »

La partie la plus excitante du document est une application pratique appelée Abstention. Dans des situations à enjeux élevés (comme l'admission d'un étudiant à l'université ou le diagnostic d'une maladie), il vaut mieux dire « Je ne suis pas sûr, un humain devrait vérifier cela » que de donner une mauvaise réponse.

Les auteurs ont utilisé RAD pour classer les prédictions. Ils ont constaté que s'ils refusaient simplement de faire une prédiction pour les échantillons qui se trouvaient dans les coins « Vacillants » ou « Chaos » (ceux ayant le rang Pareto-RAD le plus bas), la précision des prédictions restantes augmentait considérablement. En d'autres termes, en utilisant RAD pour filtrer les cas confus, l'IA est devenue beaucoup plus fiable sur les cas qu'elle a effectivement traités.

Ce que RAD N'EST PAS

Il est important de noter ce que ce document ne fait pas. Il ne prétend pas réparer l'IA ou faire en sorte que les videurs soient d'accord. Il ne dit pas non plus que toute l'IA est défaillante. Au contraire, il fournit un outil de diagnostic. Il vous indique où se situe le problème :

• Le problème est-il que les modèles sont trop différents ? (Dans ce cas, vous devrez peut-être mieux les entraîner ou les combiner).
• Le problème est-il que les données sont trop confuses ou que la ligne de décision est trop tranchée ? (Dans ce cas, vous aurez peut-être besoin de meilleures données ou d'une autre façon de définir les règles).

Le document suggère qu'en examinant à la fois l'Espace-Modèle (les modèles sont-ils d'accord ?) et l'Espace-Caractéristiques (les données sont-elles stables ?), nous obtenons une image bien plus claire de la confiance qu'en regardant un seul aspect. C'est une façon de cesser de faire aveuglément confiance à un ordinateur qui pourrait deviner, et de commencer à poser les bonnes questions lorsque la réponse n'est pas claire.