Résumé technique : Le travail d'équipe humain-IA sous l'angle de la calibration

Énoncé du problème

Les systèmes d'IA modernes excellent dans l'extraction d'informations à partir de données à grande échelle, surpassant souvent les capacités humaines en matière de reconnaissance de formes. Cependant, les humains possèdent une connaissance contextuelle unique (par exemple, l'historique spécifique d'un patient) qui fait défaut aux modèles au niveau de la population. Cette complémentarité motive la création de systèmes intelligents hybrides où les prises de décision humaines et mécaniques sont combinées pour surpasser chaque agent pris isolément.

Malgré le potentiel de complémentarité, le travail d'équipe humain-IA présente des dynamiques complexes où l'amélioration du modèle d'IA peut, paradoxalement, dégrader la performance de l'équipe. La littérature actuelle manque d'une perspective théorique unifiée pour caractériser quand le travail d'équipe réussit ou échoue à travers différents cadres. Cet article comble cette lacune en analysant le travail d'équipe humain-IA sous l'angle de la calibration statistique. La question centrale est la suivante : si l'humain et le modèle d'IA sont individuellement calibrés par rapport à des partitions spécifiques de l'espace des caractéristiques, les cadres de travail d'équipe standards (combinant les prédictions ou déléguant les tâches) préservent-ils ces propriétés de calibration ?

Méthodologie et cadre

Les auteurs formalisent un contexte impliquant une tâche de classification à $K$ classes avec des étiquettes $y$ et des caractéristiques $x$. Ils considèrent deux configurations de l'espace des caractéristiques :

1. Caractéristiques partagées : L'humain et le modèle observent $x$.
2. Caractéristiques indépendantes : Le modèle observe $x$, tandis que l'humain observe $x$ ainsi que des caractéristiques cachées supplémentaires $z$ (où $z$ est inconnu du modèle).

L'humain et le modèle sont supposés être calibrés par rapport à des fonctions de regroupement arbitraires (partitions) $\Phi_h$ et $\Phi_f$, respectivement. Un prédicteur est calibré si sa confiance correspond à la probabilité empirique de l'étiquette au sein du groupe assigné. Le papier analyse deux flux de travail de collaboration principaux :

1. Combinaison : Agrégation des prédictions humaines et du modèle.
   • Combinaison basée sur le modèle : Un modèle secondaire $g$ apprend à combiner la prédiction échantillonnée de l'humain $\hat{h}$ et le vecteur de confiance $f(x)$ du modèle.
   • Combinaison bayésienne (Kerrigan et al.) : Utilise une matrice de confusion dérivée des prédictions humaines pour mettre à jour le postérieur du modèle via la règle de Bayes.
2. Délégation (Apprentissage de la délégation/Learning to Defer) : Un méta-classificateur (relecteur) $r(x)$ décide de déléguer la prédiction à l'humain ou de laisser le modèle prédire. L'objectif est de minimiser le risque en sélectionnant le prédicteur supérieur pour chaque instance.

Contributions clés et résultats théoriques

1. Cadres de combinaison

Les auteurs prouvent que les méthodes de combinaison existantes échouent généralement à préserver la calibration de l'humain tout en préservant celle du modèle.

• Combinaison basée sur le modèle :
  • Résultat : Le prédicteur combiné $g^*$ est calibré par rapport à la partition du modèle $\Phi_f$ (Proposition 3.1).
  • Échec : Il n'est pas calibré par rapport à la partition de l'humain $\Phi_h$ (Théorème 3.2). L'acte d'échantillonner une seule prédiction humaine $\hat{h}$ détruit l'information encodée dans $\Phi_h$, à moins que le modèle $f(x)$ ne soit déjà un « omniprédicteur » (multi-calibré) par rapport aux deux partitions, ou que la partition de l'humain ne soit si grossière que l'échantillon identifie de manière unique le groupe.
• Combinaison bayésienne (Matrice de confusion) :
  • Résultat : Le postérieur est calibré par rapport à $\Phi_f$ sous l'hypothèse d'indépendance conditionnelle entre les partitions étant donné l'étiquette (Théorème 3.3).
  • Échec : Il n'est pas calibré par rapport à $\Phi_h$ (Proposition 3.4). La matrice de confusion agrège les prédictions humaines, moyennant les variations intra-classes de $\Phi_h$.
  • Sensibilité à la calibration du modèle : Une découverte critique est qu'à mesure que le modèle approche le classificateur de Bayes (calibration idéale), l'hypothèse d'indépendance conditionnelle ($\Phi_h \perp \Phi_f | y$) est de plus en plus violée. Cela conduit à un « sur-affinement » (over-sharpening) et à une mauvaise calibration du prédicteur combiné (Proposition 3.5).

2. Cadres de délégation (Apprentissage de la délégation)

• Exigences de calibration : Le relecteur (méta-classificateur) doit être calibré avec une granularité assez fine pour identifier l'ensemble de délégation optimal $D^*$, où la probabilité que l'humain soit correct dépasse la confiance maximale du modèle (Théorème 4.1).
• Impact de l'information cachée : Lorsque l'humain possède des caractéristiques cachées $z$ que le relecteur ne peut observer, le relecteur est limité à marginaliser sur $z$. Cela crée un risque excédentaire irréductible car le relecteur ne peut pas détecter les instances où l'information cachée de l'humain le rend supérieur, même si la probabilité marginale le suggère (Corollaire 4.2).
• Caractéristiques d'entrée : Les auteurs soutiennent que le relecteur doit explicitement prendre la sortie du modèle $f(x)$ comme caractéristique d'entrée pour affiner la partition $\Phi_f$ et identifier correctement le seuil de délégation.

Résultats empiriques

Les découvertes théoriques ont été validées par des simulations et des expériences sur des ensembles de données réels :

1. Simulation (Caractéristiques partagées vs indépendantes) :
   • Dans les deux configurations, le modèle combiné $g^*$ hérite de la calibration du modèle ($\Phi_f$) mais échoue à préserver la calibration de l'humain ($\Phi_h$), présentant une erreur de calibration attendue (ECE) significative.
2. ImageNet-16H (Caractéristiques partagées) :
   • En utilisant des annotations humaines de 145 participants, les auteurs ont fait varier la calibration d'un modèle VGG-19 via l'échelle de température (temperature scaling).
   • Résultat : Une meilleure calibration du modèle n'a pas conduit à un meilleur prédicteur combiné. La précision postérieure et l'ECE optimales ont été atteintes avec des modèles moins calibrés que le meilleur modèle disponible, confirmant la prédiction théorique qu'une haute calibration du modèle brise l'hypothèse d'indépendance requise pour la combinaison bayésienne.
3. HAM10000 (Caractéristiques indépendantes) :
   • Des humains simulant des accès variables aux métadonnées ($z$) ont été combinés avec un modèle ResNet-18.
   • Résultat : Lorsque l'humain possédait des caractéristiques indépendantes (métadonnées uniquement), une meilleure calibration du modèle améliorait systématiquement le prédicteur postérieur. Lorsque les caractéristiques étaient partagées, la tendance s'est inversée, s'alignant sur la distinction théorique entre les espaces de caractéristiques partagés et indépendants.

Signification et affirmations

L'article affirme fournir un prisme théorique unifié pour comprendre le travail d'équipe humain-IA, révélant que les procédures de combinaison courantes ne préservent pas la calibration sous-jacente des membres de l'équipe.

• Résultats négatifs : La principale contribution est la démonstration que la simple combinaison d'agents calibrés ne produit pas une équipe calibrée. Plus précisément, la connaissance spécifique de l'humain (encodée dans $\Phi_h$) est souvent perdue ou déformée dans le processus de combinaison.
• Limitations de la délégation : Le travail souligne que la délégation est fondamentalement limitée par l'asymétrie d'information. Si l'humain s'appuie sur des caractéristiques inobservables, le système ne peut pas apprendre parfaitement quand déléguer, quelle que soit la sophistication du relecteur.
• Implications pratiques :
  • Pour la combinaison, la multi-calibration du modèle par rapport à la partition de l'humain est une solution théorique, mais elle réduit effectivement l'équipe à un seul modèle, annulant le bénéfice de l'humain dans la boucle.
  • Pour la délégation, le relecteur doit être hautement calibré et inclure la sortie du modèle comme une caractéristique. Si des caractéristiques cachées existent, le système peut nécessiter la collecte active de ces caractéristiques (par exemple, aux frontières de décision) plutôt que de compter sur des modèles statiques.

Les auteurs concluent que bien que la calibration soit un outil puissant d'analyse, la nature de type « pas de gratuité » (no-free-lunch) de ces cadres suggère que parvenir à un travail d'équipe humain-IA robuste nécessite une attention particulière aux espaces de caractéristiques et aux propriétés de calibration spécifiques des agents impliqués.