Résumé technique : La topologie des questions mal posées

Énoncé du problème

Les grands modèles de langage (LLM) sont fréquemment confrontés à des questions mal posées — des requêtes ambiguës, sous-spécifiées, contradictoires ou manquant du contexte nécessaire. Contrairement aux problèmes bien posés, ces requêtes peuvent ne pas admettre de réponse valide ou permettre de multiples interprétations plausibles. Les approches existantes pour gérer le caractère mal posé reposent largement sur l'analyse des sorties du modèle (par exemple, la détection de motifs de refus) ou se concentrent sur des sous-classes spécifiques d'ambiguïté via la réécriture entrée-sortie. Ces méthodes traitent souvent le LLM comme une boîte noire, échouant à capturer la représentation interne unifiée des diverses sources de mal-positionnement. Par conséquent, les mécanismes de pilotage actuels ont tendance à s'effondrer en modèles de refus génériques plutôt que de guider le modèle vers une clarification consciente de la source ou une abstention ciblée.

Méthodologie

Le document propose un cadre qui analyse et pilote le comportement des LLM en modélisant les états cachés internes des jetons (tokens) de l'invite comme une structure topologique.

1. Représentation par nuages de jetons par couche

Au lieu de compresser une invite en un seul vecteur agrégé, les auteurs traitent les états cachés contextuels des jetons de l'invite à chaque couche de transformateur $l$ comme un nuage de points $X^{(l)}(q)$.

• Réduction de dimensionnalité : Pour gérer le bruit et le coût computationnel, les états des jetons sont projetés dans un espace de dimension inférieure en utilisant une Analyse en Composantes Principales (PCA) ajustée sur l'ensemble d'entraînement.
• Analyse topologique : La géométrie de ces nuages de points est analysée à l'aide de l'homologie persistante de dimension zéro finie ($H_0$). Cette méthode suit la manière dont les composants initialement déconnectés des jetons fusionnent à mesure qu'un seuil de distance (rayon de filtration) augmente.
• Interprétation : Une question bien posée induit des états de jetons qui fusionnent en une structure cohérente tôt dans la filtration. Une question mal posée préserve des groupes séparés ou inégalement connectés (représentant des entités, des contextes ou des contraintes non résolus) jusqu'à des échelles plus larges, entraînant des motifs de fusion distincts.

2. Descripteurs topologiques compacts

Pour chaque couche, le diagramme de persistance $H_0$ fini est résumé en trois descripteurs scalaires à dimension fixe :

1. Durée de vie moyenne ($\mu$) : L'échelle moyenne à laquelle les composants fusionnent, indiquant le degré de fragmentation.
2. Entropie de durée de vie normalisée ($E$) : Mesure la distribution des événements de fusion (diffuse vs concentrée).
3. Concentration de la plus grande durée de vie ($R$) : Le ratio de la somme des cinq plus grandes durées de vie par rapport au total, capturant la dominance des séparations majeures.

Ces descripteurs sont concaténés à travers toutes les $L$ couches pour former un vecteur topologique $z(q) \in \mathbb{R}^{3L}$ représentant la question.

3. Pilotage d'activation conditionné par la topologie

Le cadre utilise ces vecteurs topologiques à deux fins :

• Classification : Un classificateur supervisé prédit le caractère mal posé binaire ou des sous-types fins (ex: polysémie, contexte temporel manquant) directement à partir du vecteur topologique.
• Pilotage local : Plutôt que d'appliquer une direction d'« abstention » globale unique, la méthode extrait des exemples positifs (clarification/abstention) et négatifs (réponse directe) topologiquement similaires de l'ensemble d'entraînement.
  • Un vecteur de pilotage local $v_{local}$ est construit comme la différence entre les activations moyennes de ces voisins extraits.
  • Ce vecteur est ajouté aux états cachés pendant les étapes de prefill et de décodage, guidant le modèle vers une réponse qui traite la source spécifique de la question mal posée tout en préservant le contenu sémantique de la question originale.

Principales contributions

1. Représentation topologique unifiée : Introduction d'une représentation par nuage de jetons par couche qui quantifie la connectivité multi-échelle des questions mal posées en utilisant l'homologie persistante $H_0$ finie.
2. Extraction de caractéristiques compactes : Démonstration que trois statistiques compactes (durée de vie moyenne, entropie, concentration) dérivées des durées de vie $H_0$ forment une représentation robuste et de faible dimension capable de supporter à la fois la détection binaire et la classification fine à 9 voies du caractère mal posé.
3. Pilotage conditionné par la topologie : Développement d'un mécanisme de pilotage qui utilise la similitude topologique pour sélectionner des paires de contraste spécifiques à la requête, permettant au modèle de passer d'une réponse directe à une abstention ou une clarification consciente de la source sans s'effondrer en refus génériques.

Résultats expérimentaux

Le cadre a été évalué sur trois LLM en open-weight (Gemma-7B-it, Llama-3.1-8B-Instruct, Mistral-7B-Instruct-v0.3) à travers trois benchmarks : AmbigQA et SituatedQA (détection binaire) et CLAMBER (classification fine à 9 voies).

• Performance de classification :

  • AmbigQA : La précision est passée de 67,4 % (baseline AEN) à 78,9 %.
  • SituatedQA : La précision est passée de 79,9 % à 88,5 %.
  • CLAMBER (9 voies) : La précision est passée de 57,6 % à 69,6 %.
  • Les caractéristiques topologiques ont systématiquement surpassé les baselines basées sur le prompt (zero-shot, few-shot, CoT) et les baselines de sondage de neurones (AEN).

• Performance de pilotage :

  • Le pilotage conditionné par la topologie a augmenté le taux de réponse « Grounded Acceptable » (réponses qui identifient et traitent correctement l'élément manquant/ambigu spécifique) de 11,9 % à 16,4 % en moyenne.
  • Le taux « Total Acceptable » (grounded + générique) est passé de 61,4 % à 70,6 %.
  • Crucialement, la méthode a réduit les refus « génériques » au profit de réponses « ancrées » (grounded), indiquant que le pilotage a réussi à préserver l'information spécifique à la question tout en modifiant le comportement de la réponse.

Signification et affirmations

Le document affirme que l'homologie persistante fournit une représentation interprétable du caractère mal posé qui capture la manière dont la structure de connectivité interne du modèle se transforme à travers les couches. La signification réside dans la démonstration que :

1. Le caractère mal posé n'est pas seulement un phénomène au niveau de la sortie, mais est encodé dans l'arrangement géométrique des états de jetons lors de l'étape de prefill.
2. Les descripteurs topologiques peuvent servir de clés de recherche efficaces pour le pilotage d'activation local, permettant des interventions ciblées qui sont sensibles au sous-type spécifique de mal-positionnement (par exemple, distinguer l'ambiguïté lexicale du contexte temporel manquant).
3. Cette approche dépasse les modèles de refus fixes, permettant aux LLM de produire des réponses qui sont à la fois abstinentes (lorsque nécessaire) et informatives concernant la nature spécifique de l'ambiguïté de la requête.

Les auteurs notent des limites, notamment le fait que l'étude est restreinte à trois modèles optimisés pour l'instruction et trois benchmarks de QA, et suggèrent que des travaux futurs pourraient explorer l'homologie de dimension supérieure ($H_1$) ou apprendre des poids d'agrégation par couche.