Résumé technique : Combler l'écart entre détection et abstention dans les modèles de raisonnement sous information insuffisante

1. Énoncé du problème

Les modèles de raisonnement à grande échelle (LRM) sont de plus en plus déployés dans des domaines à haut risque tels que l'IA médicale, où les requêtes des utilisateurs manquent souvent d'informations critiques (par exemple, symptômes manquants, résultats de laboratoire ou contexte). Un mode de défaillance critique identifié dans ce travail est que, bien que les modèles puissent reconnaître, au cours du raisonnement intermédiaire, qu'un problème est sous-spécifié, ils échouent fréquemment à traduire cette reconnaissance en un refus définitif de répondre. Au lieu de cela, ils poursuivent le raisonnement, fabriquent des prémisses manquantes et produisent des réponses définitives non étayées.

Les auteurs formalisent ce phénomène sous le nom d'écart entre détection et abstention : l'écart entre la capacité d'un modèle à détecter une information insuffisante (taux de détection, DR) et sa capacité à agir sur cette détection en s'abstenant (taux global d'abstention, OAR). Les méthodes existantes, y compris l'apprentissage par renforcement (RL) standard et l'incitation par prompt, améliorent souvent la détection mais échouent à combler cet écart, laissant des modèles qui « détectent mais ne s'abstiennent pas ». Ceci est particulièrement dangereux dans des contextes critiques pour la sécurité, où une réponse non étayée est plus nuisible qu'un refus.

2. Méthodologie : Juger puis Résoudre (JTS)

Pour combler cet écart, l'article propose Juger puis Résoudre (JTS), un cadre de contrôle du raisonnement au niveau des trajectoires. Contrairement à traiter l'abstention simplement comme un style de réponse finale, JTS la reformule comme une décision de contrôle explicite prise avant la génération de la solution.

Mécanisme central

JTS décompose le processus d'inférence en deux étapes distinctes :

1. Jugement de répondabilité : Le modèle doit d'abord générer un bloc structuré <answerability_judge> contenant :
   • Audit contextuel : Une analyse de savoir si le contexte fourni soutient une réponse valide unique.
   • Vérification d'intégrité : Une vérification des prémisses manquantes ou des ambiguïtés.
   • Conclusion : Une décision binaire de ANSWERABLE (répondable) ou UNANSWERABLE (non répondable).
2. Exécution conditionnelle :
   • Si UNANSWERABLE : Le modèle doit immédiatement terminer le raisonnement et produire une réponse d'abstention.
   • Si ANSWERABLE : Le modèle procède à la génération de la solution au sein du même bloc de raisonnement.

Stratégie d'entraînement

JTS est mis en œuvre via un processus d'entraînement en deux étapes :

1. Échauffement supervisé : Le modèle est affinée sur un jeu de données de 1 091 trajectoires formatées avec la structure JTS. Cette étape enseigne l'a priori structurel du cadre (le bloc <answerability_judge> et la règle de terminaison immédiate) plutôt que d'optimiser directement l'abstention.
2. Apprentissage par renforcement (RL) avec récompenses structurées : Le modèle est optimisé à l'aide de l'optimisation de politique relative par groupe (GRPO) avec une fonction de récompense composite $R(y)$ :
   • Récompense de format ($R_{format}$) : Impose la structure stricte de JTS (balises valides, placement de la conclusion).
   • Récompense de cohérence ($R_{consistency}$) : Pénalise les contradictions entre le jugement (par exemple, UNANSWERABLE) et la sortie finale (par exemple, fournir une réponse).
   • Récompense de tâche ($R_{task}$) : Récompense l'abstention correcte sur les questions sous-spécifiées et les réponses correctes sur les questions bien définies ; pénalise l'abstention incorrecte sur les questions solubles.
   • Récompense de modelage de longueur ($R_{length}$) : Un signal conditionnel conçu pour décourager la « sur-réflexion ».
     • Pour les questions sous-spécifiées où le modèle échoue à s'abstenir, des trajectoires plus courtes sont récompensées pour encourager une terminaison immédiate après la détection.
     • Pour les questions bien définies où le modèle échoue à répondre correctement, des trajectoires plus longues sont légèrement favorisées pour encourager un raisonnement complet.

3. Contributions clés

1. Formalisation de l'écart entre détection et abstention : L'article identifie et définit un mode de défaillance spécifique où les modèles détectent des informations manquantes mais échouent à s'abstenir, distinguant cela des simples échecs de détection.
2. Cadre Juger puis Résoudre : Un nouveau paradigme de contrôle du raisonnement qui force un engagement explicite sur la répondabilité avant la génération de la solution, filtrant efficacement la trajectoire de raisonnement.
3. Modelage de longueur conditionnel : Un mécanisme de récompense qui cible spécifiquement l'échec de la « délibération post-détection », encourageant les modèles à arrêter le raisonnement immédiatement une fois l'insuffisance détectée, tout en préservant la profondeur du raisonnement pour les problèmes solubles.
4. Validation empirique : Évaluation complète sur des modèles denses (DeepSeek-R1-Distill-Qwen-14B) et à mélange d'experts (Qwen3-30B-A3B-Thinking) sur plusieurs benchmarks, y compris le domaine médical (MedIQ).

4. Résultats expérimentaux

Les expériences ont été menées sur le jeu de données Missing-Premise (MIP) et quatre sous-ensembles d'AbstentionBench (MMLU-History, MMLU-Math, GPQA-Diamond, MedIQ).

• Comblement de l'écart : JTS améliore considérablement l'Abstention@Détection (A@D), la poussant à des niveaux de quasi-saturation (99,8 % pour DeepSeek, 99,3 % pour Qwen). Cela indique que, une fois que le modèle détecte des informations manquantes, il agit de manière fiable sur cette détection.
• Performance globale :
  • DeepSeek : Le OAR est passé de 18,6 % (Base) à 88,5 % (JTS).
  • Qwen : Le OAR est passé de 21,1 % (Base) à 72,4 % (JTS).
• Efficacité : JTS réduit considérablement la longueur moyenne des réponses sur les questions sous-spécifiées (par exemple, de ~2600 jetons à ~350 jetons pour DeepSeek) en terminant les délibérations inutiles.
• Questions bien définies : Bien que JTS introduise un léger compromis dans le taux de réponse brut et la justesse sur les questions solubles, il améliore significativement l'efficacité par jeton (Justesse/1K jetons), suggérant un raisonnement plus concis et efficace.
• Analyse de l'incertitude : L'analyse de l'entropie au niveau des jetons révèle que les modèles JTS maintiennent une incertitude (entropie) plus élevée autour des prémisses manquantes par rapport aux modèles de base, qui ont tendance à être trop confiants. Cette prise de conscience de l'incertitude alimente le comportement d'abstention.
• Observation secondaire : Il a été observé que l'entraînement sur des données de prémisses manquantes (même avec un RL simple) réduisait la « réflexion sur soi inefficace » et l'hésitation sur des problèmes mathématiques difficiles mais répondables (Omni-Math), conduisant à une légère amélioration des scores pass@8 dans les plages de difficulté moyenne à élevée.

5. Importance et affirmations

L'article affirme que l'abstention fiable est une forme critique de contrôle du raisonnement nécessaire au déploiement sécurisé des LRM dans des domaines à haut risque. L'importance de ce travail réside dans :

• Sécurité : Démontrer que les modèles peuvent être entraînés à refuser des réponses non étayées dans des contextes médicaux et autres critiques pour la sécurité, empêchant la génération d'hallucinations nuisibles.
• Mécanisme : Montrer que l'échec à s'abstenir est souvent un problème de contrôle (poursuite du raisonnement après détection) plutôt qu'un problème de capacité pure, et que cela peut être résolu en structurant la trajectoire de raisonnement.
• Efficacité : Prouver que la terminaison précoce des trajectoires non répondables réduit le gaspillage computationnel et le temps d'inférence.

Les auteurs notent modestement que, bien que JTS améliore l'abstention, il peut entraîner une légère augmentation des abstentions fausses sur des questions bien définies, un compromis qu'ils jugent acceptable pour les applications critiques pour la sécurité. Ils reconnaissent également des limites, notamment la dépendance à un LLM en tant que juge pour l'évaluation et le coût computationnel de l'entraînement RL à paramètres complets.