💻 computer science

Ask, Condition or Abstain: Reinforcement Learning for Missing-Premise Reasoning

Cet article présente ACA-RL, un cadre d'apprentissage par renforcement, ainsi que le Missing-Premise Benchmark (MPB) qui permettent aux modèles de raisonnement de gérer efficacement les requêtes sous-déterminées en apprenant à demander les informations manquantes, à conditionner les réponses sur les inconnues ou à s'abstenir, plutôt que de forcer des réponses incorrectes.

Auteurs originaux : Yongqi Tong, Zhenyu Zhang, Zimi Liu, Kewei Fu, Mingli Song, Haofei Zhang, Junshao Zhang, Hong Zhu, Jiang-Ming Yang, Xin Zhang, Jianshe Li

Publié 2026-08-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yongqi Tong, Zhenyu Zhang, Zimi Liu, Kewei Fu, Mingli Song, Haofei Zhang, Junshao Zhang, Hong Zhu, Jiang-Ming Yang, Xin Zhang, Jianshe Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous posiez une question à un assistant très compétent, mais que vous ayez accidentellement oublié une information cruciale nécessaire pour résoudre l'énigme. Par exemple, vous demandez le coût total d'un voyage mais oubliez de mentionner la destination, ou vous demandez la solution à un problème mathématique mais omettez un nombre spécifique. Dans le monde réel, un humain serviable s'arrêterait, remarquerait la lacune et demanderait le détail manquant. Il ne devinerait pas la destination ou n'inventerait pas un nombre simplement pour vous donner une réponse. Pendant longtemps, les systèmes d'intelligence artificielle entraînés pour résoudre des problèmes ont lutté contre cette situation spécifique. Face à une question incomplète, ces systèmes se sentent souvent obligés de combler les vides eux-mêmes, produisant avec assurance une réponse erronée ou un fait inventé. Ce comportement, appelé hallucination, se produit parce que les modèles sont principalement entraînés pour trouver une réponse finale, et non pour reconnaître quand une réponse est impossible à trouver.

Les chercheurs s'efforcent d'apprendre à ces systèmes à reconnaître l'incertitude, mais simplement leur dire de dire « je ne sais pas » n'est pas toujours la réponse la plus utile. Parfois, la meilleure réaction est de demander à l'utilisateur l'information manquante. D'autres fois, le système peut fournir une réponse utile qui dépend d'une variable, comme dire : « Le coût sera de dix dollars si le voyage est pour Paris, mais de vingt dollars s'il est pour Londres ». Ce document présente une nouvelle méthode pour entraîner l'intelligence artificielle à gérer ces questions incomplètes avec le même soin qu'un humain le ferait. Les chercheurs ont développé un système qui apprend aux modèles soit à demander l'information manquante, soit à fournir une réponse conditionnelle, soit à refuser poliment de deviner lorsqu'aucune réponse utile n'est possible.

L'équipe, dirigée par des chercheurs d'Ant International et de l'Université de Zhejiang, a créé une nouvelle approche d'entraînement appelée « Ask-Condition-Abstain Reinforcement Learning » (Apprentissage par renforcement : Demander-Conditionner-S'abstenir). Pour enseigner ce comportement aux modèles, ils ont d'abord dû créer une immense bibliothèque de problèmes de pratique qui étaient intentionnellement défectueux. Ils ont pris 120 000 problèmes bien posés et solubles, et ont soigneusement retiré ou altéré un seul élément d'information critique de chacun d'eux. Ce processus n'était pas aléatoire ; ils ont utilisé une carte structurée de la manière dont le problème devait être résolu pour identifier exactement quel fait était nécessaire pour la réponse. En retirant ces faits de manière chirurgicale, ils ont créé un ensemble de données où la seule réponse correcte était d'admettre que la question était incomplète.

Une fois ces données d'entraînement prêtes, ils ont enseigné aux modèles en utilisant un système de récompenses qui encourageait des comportements spécifiques. Au lieu de simplement récompenser une réponse finale correcte, le système attribuait des points pour poser des questions de clarification ou pour expliquer ce qui manquait. Il donnait moins de points pour le simple fait de refuser de répondre, et il donnait des points négatifs pour l'invention de faits ou les suppositions. L'objectif était de déplacer l'instinct du modèle de « deviner la réponse » vers « identifier la lacune ». Pour tester si cet entraînement fonctionnait réellement, les chercheurs ont construit un nouveau benchmark appelé « Missing-Premise Benchmark » (Benchmark de la prémisse manquante). Ce jeu de test contenait 274 problèmes soigneusement vérifiés où une information manquait, couvrant les mathématiques, la logique et les problèmes de la vie réelle.

Les résultats ont montré que la nouvelle méthode d'entraînement améliorait considérablement la façon dont les modèles géraient les questions incomplètes. Sur ce nouveau benchmark, les modèles entraînés avec cette méthode ont obtenu des scores bien plus élevés que ceux entraînés uniquement pour trouver des réponses ou ceux entraînés simplement pour dire « je ne sais pas ». Les modèles entraînés étaient beaucoup moins susceptibles d'halluciner ou d'inventer des faits. Au lieu de cela, ils choisissaient fréquemment de demander l'information manquante ou d'expliquer comment la réponse changerait en fonction de la variable inconnue. Crucialement, cette amélioration ne s'est pas faite au détriment de leur capacité à résoudre des problèmes normaux et complets. Lorsqu'ils étaient testés sur des énigmes mathématiques et logiques standards où toutes les informations étaient fournies, les modèles performaient aussi bien qu'auparavant, montrant que l'apprentissage de la reconnaissance de l'incertitude ne les rendait pas moins performants pour la résolution de tâches solubles.

L'étude suggère que la prochaine étape pour les systèmes intelligents n'est pas seulement d'être plus rapides ou plus précis dans la résolution de problèmes, mais d'être meilleurs pour savoir quand un problème ne peut pas être résolu tel qu'énoncé. En apprenant aux modèles à exposer l'information manquante plutôt qu'à deviner, cette approche favorise la création d'assistants plus sûrs et plus fiables. Ces systèmes peuvent décider quand demander l'aide d'un utilisateur ou quand utiliser un outil pour trouver un fait manquant, plutôt que de fournir avec assurance une réponse erronée. Les chercheurs notent que si leur méthode fonctionne bien pour les lacunes logiques dans les problèmes structurés, les questions du monde réel peuvent être plus désordonnées et ambiguës. Cependant, ce travail offre une voie claire pour apprendre à l'intelligence artificielle à reconnaître les limites de ses propres connaissances et à répondre de manière constructive lorsque l'information est incomplète.

Résumé Technique : Demander, Conditionner ou S'abstenir : Apprentissage par Renforcement pour le Raisonnement à Prémisses Manquantes

1. Énoncé du Problème

Les modèles de raisonnement actuels sont principalement optimisés via l'apprentissage par renforcement (RL) sur des problèmes entièrement spécifiés où une réponse finale unique et vérifiable existe. Cependant, les requêtes réelles des utilisateurs omettent souvent des prémisses critiques, laissant le problème sous-déterminé. Dans ces scénarios, les modèles entraînés uniquement pour des réponses définies ont tendance à halluciner des solutions confiantes même lorsque la question ne détermine pas de solution.

L'article soutient que l'espace de réponse idéal pour les problèmes à prémisses manquantes s'étend au-delà du simple refus (« Je ne sais pas »). Un modèle robuste doit être capable de trois comportements distincts :

Demander (Ask) : Solliciter proactivement la prémisse manquante.
Conditionner (Condition) : Formuler une réponse conditionnelle à la variable inconnue.
S'abstenir (Abstain) : Refuser de répondre lorsqu'aucune réponse conditionnelle informative n'est possible.

Les approches existantes, telles que la recherche (retrieval) ou le filtrage au moment de l'inférence, n'enseignent pas au modèle de base à reconnaître intrinsèquement les invites sous-déterminées. De plus, le simple prompting (par exemple, « LM Introspection ») est insuffisant pour induire de manière fiable ces politiques de réponse spécifiques.

2. Méthodologie : ACA-RL

Les auteurs proposent l'ACA-RL (Ask-Condition-Abstain Reinforcement Learning), un cadre d'apprentissage par renforcement augmenté par les données, conçu pour apprendre ces politiques de réponse.

2.1 Construction des Données : Synthèse Guidée par Graphe de Raisonnement

Pour s'entraîner sur des instances à prémisses manquantes, les auteurs ont développé un pipeline pour synthétiser 120 000 exemples d'entraînement à partir de problèmes bien posés. Ce processus garantit que l'information « manquante » est un écart logique localisé plutôt qu'un bruit aléatoire. Le pipeline comprend :

Déconstruction et Génération de Graphe : Analyse d'un problème bien posé en un graphe orienté acyclique (DAG) représentant le chemin de raisonnement et les dépendances entre les conditions et la réponse.
Perturbation Chirurgicale de Condition : Identification d'une condition critique sur le chemin de la solution et application de l'une des six stratégies de perturbation (par exemple, supprimer une valeur numérique, déquantifier une relation ou perturber une entité) pour créer une variante sous-spécifiée ( $s'$ ).
Réécriture et Vérification : Reconstruction du problème en un énoncé textuel fluide et filtrage des échantillons où l'écart n'est pas identifiable ou où le problème reste soluble.

2.2 Fonction de Récompense Structurée

Contrairement au RL standard axé uniquement sur la réponse, l'ACA-RL utilise une fonction de récompense structurée ( $R_{ACA}$ ) basée sur une taxonomie comportementale de cinq catégories :

Hallucination Silencieuse (Silent Hallucination - SH) : Fabriquer une réponse sans reconnaissance (Récompense : -1,0).
Hypothèse Explicite (Explicit Assumption - EA) : Donner une réponse définitive mais en énonçant l'hypothèse (Récompense : -0,3).
Abstention (Abstention - Abs) : Identifier correctement le problème comme sous-déterminé et refuser (Récompense : 0,3).
Formulation Conditionnelle (Conditional Formulation - Cond) : Exprimer la réponse sous forme de formule dépendant de la variable manquante (Récompense : 0,6).
Élicitation Active (Active Elicitation - Elicit) : Demander proactivement la prémisse manquante (Récompense : 1,0).

L'objectif est de maximiser la valeur attendue de ces comportements, déplaçant la politique de l'hallucination et du refus générique vers des interactions plus informatives.

2.3 Évaluation : Benchmark de Prémisses Manquantes (MPB)

Les auteurs introduisent le Missing-Premise Benchmark (MPB), un ensemble de données vérifié par des humains comprenant 274 instances couvrant des problèmes mathématiques, logiques et des problèmes du monde réel. Le MPB évalue les modèles à travers les mêmes cinq catégories comportementales, rapportant un « Score de Comportement » (une moyenne pondérée des récompenses catégorielles) plutôt que simplement la précision ou les taux de refus.

3. Résultats Clés

Des expériences ont été menées sur les modèles Qwen3 (8B, 14B) et Llama3.1-8B, comparant l'ACA-RL au Cold-start SFT, au Vanilla PPO (réponse uniquement) et à l'IDK-RL (entraîné pour refuser).

Robustesse aux Prémisses Manquantes : L'ACA-RL surpasse significativement les bases de référence sur le MPB. Sur Qwen3-8B, l'ACA-RL a obtenu un Score de Comportement de 51,73, contre 8,66 pour le Vanilla PPO et 48,72 pour l'IDK-RL. Cela indique que l'ACA-RL apprend avec succès à demander ou à conditionner plutôt qu'à simplement refuser ou halluciner.
Préservation du Raisonnement Général : Crucialement, l'ACA-RL maintient des performances compétitives sur les benchmarks standards bien posés (GSM8K, MATH-500, AIME'24). Par exemple, sur Qwen3-8B, la baisse de performance sur GSM8K par rapport au Vanilla PPO est plus faible pour l'ACA-RL (-2,35) que pour l'IDK-RL (-5,83).
Changement de Comportement : L'analyse montre que si l'IDK-RL maximise les taux de refus, l'ACA-RL déplace la distribution vers la Formulation Conditionnelle et l'Élicitation Active. Les comportements « Demander » et « Conditionner » émergent plus progressivement que l'« Abstention », suggérant un processus d'apprentissage de politique plus complexe.
Efficacité des Données : Les études d'ablation confirment que la synthèse guidée par le graphe de raisonnement est supérieure aux autres sources de données (par exemple, les données dérivées de Treecut ou de SUM) pour cette tâche. Un mélange de 30 % de données à prémisses manquantes dans l'ensemble d'entraînement a fourni le meilleur compromis entre robustesse et capacité de raisonnement général.

4. Signification et Revendications

L'article affirme recadrer le progrès des modèles de raisonnement : le succès ne devrait pas être mesuré uniquement par la précision sur des tâches entièrement spécifiées, mais aussi par la capacité à reconnaître quand une tâche est sous-déterminée et à y répondre de manière constructive.

Au-delà du Refus : Ce travail démontre que les modèles peuvent être entraînés à faire plus que dire « je ne sais pas » ; ils peuvent fournir des réponses conditionnelles ou solliciter des informations manquantes, ce qui est plus utile dans les systèmes de tutorat et les flux de travail agentiques.
Écart d'Évaluation : En introduisant le MPB, les auteurs soulignent un fossé dans l'évaluation actuelle du NLP, qui échoue souvent à mesurer comment les modèles gèrent l'incertitude et les entrées sous-spécifiées.
Limites : Les auteurs notent modestement que leur entraînement se concentre sur des réponses en un seul tour. La méthode ne forme pas actuellement des politiques de clarification multi-tours ou l'utilisation d'outils (retrieval) pour réellement acquérir l'information manquante, laissant un écart entre l'identification de l'écart et sa résolution dans un flux de travail d'agent complet. De plus, les données synthétiques, bien que contrôlées, peuvent ne pas capturer pleinement l'ambiguïté sémantique des requêtes organiques des utilisateurs.

En conclusion, l'ACA-RL fournit un cadre concret pour entraîner les modèles à naviguer dans l'incertitude en demandant, en conditionnant ou en s'abstenant, soutenu par un nouveau benchmark et un pipeline de synthèse de données scalable.