Diagnosable ColBERT: Debugging Late-Interaction Retrieval Models Using a Learned Latent Space as Reference

1. Problématique

L'article aborde les limites des modèles de récupération d'information à interaction tardive (late-interaction), tels que ColBERT, dans des domaines à haut risque comme la biomédecine et la clinique.

• Limites de l'interprétabilité actuelle : Bien que ColBERT expose des scores d'interaction au niveau des tokens (permettant de voir quels mots de la requête correspondent à quels mots du document), cette interprétabilité est jugée "superficielle". Elle explique pourquoi un document a été classé pour une requête donnée, mais ne révèle pas si le modèle a appris des concepts cliniques de manière stable, réutilisable et sensible au contexte.
• Échec de la détection des erreurs systématiques : Les scores d'interaction locaux ne suffisent pas à diagnostiquer des malentendus profonds (ex: confusion entre concepts proches, échec à gérer la négation, l'incertitude, la temporalité ou les abréviations médicales).
• Conséquence : En l'absence d'une méthode pratique pour identifier ces défaillances systématiques, la curation des données d'entraînement pour corriger ces erreurs devient empirique et inefficace. Le modèle peut réussir sur un cas isolé mais échouer sur des variantes contextuelles (ex: comprendre "chat" mais échouer sur "maladie des griffes du chat").

2. Méthodologie : Diagnosable ColBERT

Les auteurs proposent un cadre nommé Diagnosable ColBERT, qui ne modifie pas fondamentalement le mécanisme de scoring de récupération, mais introduit une nouvelle "lentille" de diagnostic.

• Espace Latent de Référence : Le cœur de la méthode est l'utilisation d'un espace latent de référence appris, ancré dans des connaissances cliniques et des contraintes de similarité conceptuelle fournies par des experts. Cet espace doit pouvoir représenter non seulement des concepts nommés, mais aussi des combinaisons contextuelles enrichies (négation, temporarité, etc.).
• Alignement des Représentations : Le cadre aligne les embeddings de tokens issus de l'interaction tardive (ColBERT) vers cet espace de référence via des adaptateurs de pré-projection (pre-projection adapters).
• Architecture :
  • Les représentations de récupération (utilisées pour le classement) sont conservées mais sont vues comme une projection de plus basse dimension de la représentation "diagnostiquée".
  • Cela permet de préserver la richesse structurelle nécessaire au diagnostic tout en maintenant l'efficacité de la recherche.
• Approche Diagnostique : Au lieu de se demander "quel token a matché quel token ?", le système permet d'inspecter "quels facteurs cliniquement pertinents la représentation contextuelle encode-t-elle ?" et comment ils se positionnent géométriquement dans l'espace latent.

3. Contributions Clés

1. Changement de paradigme : Passage d'une inspection rétrospective des scores de matching à un diagnostic ancré sur les concepts. L'objectif n'est plus seulement d'expliquer un score, mais de rendre les encodages de documents inspectables comme preuves de ce que le modèle "comprend".
2. Démêlage des causes d'échec : La méthode permet de distinguer si un échec de récupération provient :
   • D'une mauvaise compréhension de l'abréviation dans le document (ex: "CSD" non reconnu comme "cat scratch disease").
   • D'une mauvaise représentation de la requête.
   • D'une défaillance plus profonde dans la représentation des concepts eux-mêmes.
3. Diagnostic sans requête (Query-free) : Le système permet d'identifier des erreurs directement à partir de l'encodage d'un document, avant même qu'une requête ne soit émise (ex: détecter si un token de médicament encode correctement le contexte d'allergie ou de négation).
4. Interface de débogage pratique : Proposition d'une interface qui expose les représentations de tokens dans l'espace latent de référence, aidant les développeurs à visualiser les écarts de sens et à cibler la curation des données.

4. Résultats et Validation

L'article, étant un papier de position, ne présente pas de benchmarks standardisés sur des datasets publics, mais s'appuie sur des cas d'usage réels et des démonstrations pratiques :

• Cas d'étude 1 (Abréviations) : Dans un système de recherche de rapports cliniques, une requête sur "bartonellosis" échoue car le document utilise l'abréviation "CSD". L'analyse standard montre un score faible. Avec Diagnosable ColBERT, l'inspecteur voit que "bartonellosis" est bien ancré, mais que "CSD" n'est pas projeté dans la même région de l'espace latent. Cela identifie clairement le problème comme une défaillance de l'encodage du document (gestion des abréviations), guidant la curation de données spécifiques (ex: ajouter des paires abrégé/développé).
• Cas d'étude 2 (Contexte clinique) : Pour la phrase "Oui, à la ranitidine" (dans un contexte d'allergie), le diagnostic vérifie si le token "ranitidine" capture la relation d'allergie. Si l'encodage reste proche du concept de médicament sans intégrer le contexte de négation/allergie, le modèle est identifié comme défaillant sur le contexte, même si l'entité est reconnue.
• Impact sur le développement : L'auteur rapporte que l'utilisation de cette interface a permis de passer d'une évaluation abstraite basée sur les métriques de classement à un processus de développement itératif ciblé, conduisant à des améliorations concrètes des modèles (de ClinicalEncoder25 à ClinicalEncoder26AM).

5. Signification et Portée

• Pour la recherche en IR : Ce travail propose une voie pour rendre les modèles de récupération "late-interaction" plus transparents et auditable, en particulier pour les applications critiques où la confiance est primordiale (OMS, régulations européennes).
• Pour la pratique clinique : Il offre un moyen systématique de trouver les "zones d'ombre" des modèles (négation, incertitude, historique) qui sont souvent les causes de décisions erronées en aval.
• Limites et Avenir : Les auteurs reconnaissent que l'espace de référence n'est pas une sémantique complète de la biomédecine, mais un "échafaudage" de diagnostic. Son utilité dépend de la qualité des connaissances expertes utilisées pour le construire. Le défi futur réside dans la construction d'espaces de référence robustes et la transformation de ces diagnostics en flux de travail d'amélioration automatisés.

En résumé, Diagnosable ColBERT ne vise pas à améliorer directement le score de rappel (recall) par un nouveau mécanisme de scoring, mais à fournir les outils nécessaires pour comprendre pourquoi le modèle échoue, permettant ainsi une curation de données plus rationnelle et une amélioration plus rapide et ciblée des modèles de récupération biomédicale.