Second Guess: Detecting Uncertainty Through Abstention and Answer Stability in Small Language Models

Résumé technique : Second Guess : Détection de l'incertitude par l'abstention et la stabilité des réponses dans les petits modèles de langage

Énoncé du problème
Les grands modèles de langage (LLM) génèrent fréquemment des réponses confiantes mais incorrectes plutôt que de s'abstenir en cas d'incertitude. Ce problème est particulièrement aigu pour les petits modèles de langage (SLM), définis ici comme des modèles génératifs basés sur l'architecture transformer comportant moins de 10 milliards de paramètres. Les SLM sont de plus en plus déployés dans des environnements périphériques et mobiles où les contraintes computationnelles et le fonctionnement autonome (souvent sans supervision humaine immédiate) nécessitent une détection fiable de l'incertitude. Les méthodes existantes permettant l'abstention présentent des limitations significatives : les approches basées sur l'entraînement nécessitent l'accès aux poids du modèle et un réentraînement ; les méthodes basées sur l'invite reposant sur l'auto-évaluation de la confiance échouent souvent car les modèles n'évaluent pas avec précision leur propre confiance ; et les méthodes de consensus basées sur l'échantillonnage entraînent une surcharge computationnelle prohibitive, inadaptée aux SLM aux ressources limitées.

Méthodologie : Second Guess
L'article propose « Second Guess », une technique d'invite légère et sans paramètres conçue pour la réponse à des questions à choix multiples (MCQA), ne nécessitant aucun accès aux états internes ou aux paramètres du modèle. La méthode repose sur l'observation empirique selon laquelle les modèles possédant des connaissances stables fournissent des réponses cohérentes indépendamment des options disponibles, tandis que les modèles incertains présentent un comportement instable lorsqu'une option « Je ne sais pas » est introduite.

La technique implique deux passages avant par question :

1. Invite originale : Le modèle reçoit l'ensemble standard de quatre choix de réponse ($C = \{c_1, c_2, c_3, c_4\}$), produisant la réponse $R_1$.
2. Invite augmentée : Une option « Je ne sais pas » est insérée à une position aléatoire dans l'ensemble des choix ($C' = \{c_1, c_2, c_3, c_4, \text{"Je ne sais pas"}\}$), et le modèle est interrogé à nouveau pour produire la réponse $R_2$.

La réponse finale $R$ est déterminée en comparant les deux réponses :

• Si $R_1 = R_2$, la réponse originale est conservée.
• Si $R_1 \neq R_2$ (peu importe quelle est la nouvelle réponse), la sortie est classée comme une abstention (« Je ne sais pas »).

Cette approche traite efficacement les divergences de réponses entre les deux invites comme un signal d'incertitude, ne nécessitant que deux requêtes par question.

Configuration expérimentale
Les auteurs ont évalué Second Guess sur quatre SLM ajustés par instruction (variant de 2 à 8 milliards de paramètres : Mistral-7B, Llama-3.1-8B, IBM Granite-3.3-2B et Qwen3-4B) à travers quatre benchmarks MCQA : CommonsenseQA, QASC, MMLU-Pro et SuperGPQA. L'évaluation a inclus à la fois les modèles de base et les modèles affinés à l'aide de l'adaptation à faible rang (LoRA).

La méthode a été comparée à plusieurs références :

• Invite originale : MCQA standard sans augmentation.
• Invite augmentée : Une approche en un seul passage où « Je ne sais pas » est inclus dès le début.
• Auto-évaluation : Une stratégie en deux étapes où le modèle vérifie sa propre réponse.
• Seuillage de l'entropie : Une méthode a posteriori convertissant les sorties à haute entropie en abstentions.

Résultats clés
L'évaluation a utilisé trois métriques : Précision, Taux d'erreur et Risque composite (une combinaison de réponses incorrectes et de cas où le modèle s'abstient alors qu'il possédait initialement la bonne réponse).

1. Réduction du risque composite : Second Guess a obtenu la plus forte amélioration du risque composite de 10,81 % sur l'ensemble des modèles de base et des jeux de données, surpassant la meilleure référence (Auto-évaluation à 7,69 %) tout en utilisant le même nombre de requêtes (deux).
2. Robustesse à l'affinage : Sur les modèles affinés, Second Guess a maintenu une amélioration du risque composite de 8 %. En revanche, les méthodes basées sur l'entropie se sont dégradées de manière significative sur les modèles affinés, car la confiance accrue du modèle a rendu l'entropie des tokens moins informative pour la détection de l'incertitude.
3. Relation inverse avec la performance de base : L'article identifie une relation inverse entre la précision de base d'un modèle et l'amélioration obtenue grâce à Second Guess. Les modèles ayant une précision de base plus faible (par exemple, Llama sur SuperGPQA avec environ 32 % de précision) ont connu les réductions de risque les plus significatives (dépassant 25 %), tandis que les modèles performants ont enregistré des gains modestes ou nuls.
4. Mécanisme d'amélioration : L'analyse des transitions de réponse a révélé que la réduction du risque découle principalement de la détection du changement d'option plutôt que de la sélection explicite de « Je ne sais pas ». Les modèles incertains avaient tendance à basculer entre des options incorrectes lorsque l'option « Je ne sais pas » était ajoutée, plutôt que de sélectionner de manière cohérente le token d'abstention.

Portée et affirmations
L'article affirme que Second Guess offre une solution pratique et accessible pour améliorer la fiabilité des SLM dans des contextes critiques pour la sécurité et autonomes. Sa portée réside dans le fait qu'il est :

• Sans paramètres : Il ne nécessite aucun réglage d'hyperparamètres ni accès aux poids du modèle.
• Efficace sur le plan computationnel : Il ne demande que deux passages avant, le rendant viable pour les SLM en boîte noire et les appareils périphériques où les méthodes basées sur l'échantillonnage sont trop coûteuses.
• Efficace pour les modèles moins performants : Il cible spécifiquement le fossé de fiabilité dans les modèles plus petits et moins capables, où la réduction des erreurs est la plus critique.

Les auteurs notent des limitations, reconnaissant que l'utilité de la méthode diminue à mesure que l'échelle du modèle et la performance de base augmentent, et que l'évaluation n'a pas inclus le raisonnement par chaîne de pensée (CoT), ce qui pourrait modifier les capacités de référence. Cependant, ce travail établit que l'instabilité comportementale (changement de réponse) est un signal robuste et détectable d'incertitude qui peut être exploité pour induire l'abstention sans modifications architecturales complexes.