Knowing When Not to Answer: Abstention-Aware Scientific Reasoning

1. Problématique

L'utilisation croissante des grands modèles de langage (LLM) pour répondre à des questions scientifiques et vérifier des faits soulève un problème critique : les évaluations actuelles supposent que le modèle doit toujours produire une réponse définitive.

• Le danger : Dans un contexte scientifique, une conclusion incorrecte (basée sur des preuves insuffisantes, ambiguës ou absentes) peut être plus nuisible que de ne pas répondre du tout.
• La lacune : Les métriques standard (comme la précision brute) incitent les modèles à deviner même lorsque les preuves ne justifient pas une décision confiante, masquant ainsi leur incapacité à reconnaître l'insuffisance des données.
• L'objectif : Développer un cadre d'évaluation qui permet au modèle d'abstenir (ne pas répondre) lorsqu'il n'est pas certain, en contrôlant le compromis entre le risque d'erreur et la couverture des réponses.

2. Méthodologie

Les auteurs proposent un pipeline de vérification et de réponse aux questions conscient de l'abstention, structuré en plusieurs étapes :

A. Décomposition en Conditions Minimales

Au lieu de traiter la requête (affirmation ou question) comme un bloc monolithique, le modèle la décompose en un ensemble de conditions factuelles minimales ($C = \{c_1, ..., c_k\}$).

• Certaines conditions sont marquées comme critiques ($\beta_i = 1$) : si l'une d'elles échoue, la conclusion globale est invalidée.
• Cette étape rend le processus de raisonnement inspectable et décompose un problème complexe en sous-problèmes auditables.

B. Audit des Preuves par Inférence Linguistique (NLI)

Chaque condition est audité indépendamment par rapport aux preuves textuelles disponibles ($E$) en utilisant un modèle NLI pré-entraîné (DeBERTa).

• Le modèle NLI évalue le rapport entre la condition et chaque phrase de preuve pour déterminer : Entailment (Soutien), Contradiction, ou Neutralité (Preuve manquante).
• Une stratégie asymétrique est appliquée : la contradiction prime sur le soutien. Si une preuve contredit une condition critique, celle-ci est marquée comme "CON".

C. Agrégation de Décision sous Perte Asymétrique

Les résultats des audits sont agrégés selon des règles déterministes qui reflètent la structure des coûts en science (Assumption 1) :

• Coût asymétrique : L'erreur de "faux soutien" (affirmer un fait non prouvé) est plus coûteuse que l'erreur de "faux refus" ou de l'abstention.
• Règles :
  • Vérification (SciFact) : Une seule contradiction sur une condition critique suffit pour réfuter l'affirmation. Le soutien nécessite que toutes les conditions critiques soient soutenues.
  • Réponse (PubMedQA) : Au moins une condition critique soutenue suffit pour une réponse "Oui", à condition qu'aucune ne soit contredite.

D. Estimation de Confiance et Règle d'Abstention

Un score de confiance est calculé pour chaque instance en se basant sur les marges des audits des conditions critiques :
$$conf(x, E) = \max_{c_i \in C_{crit}} |sent_i - scon_i|$$
où $sent$ et $scon$ sont les probabilités de soutien et de contradiction.

• Abstention : Le modèle ne répond que si $conf(x, E) \ge \tau$ (seuil). Sinon, il émet un symbole d'abstention ($\perp$).
• Cela permet de tracer des courbes Risque-Couverture en faisant varier $\tau$.

E. Évaluation : Courbes Risque-Couverture

Au lieu de la précision brute, l'évaluation utilise :

• Risque (Risk) : Taux d'erreur parmi les réponses non abstentionnées.
• Couverture (Coverage) : Fraction d'instances pour lesquelles le modèle répond.
• AURC (Area Under Risk-Coverage) : Métrique globale où une valeur plus basse indique un meilleur contrôle du risque à travers différents niveaux de couverture.

3. Contributions Clés

1. Pipeline de vérification modulaire : Introduction d'un système qui décompose les énoncés scientifiques, les audite via NLI, et agrège les résultats avec une logique de risque asymétrique.
2. Étude empirique systématique : Évaluation sur deux benchmarks (SciFact et PubMedQA) avec six modèles variés (encodeurs-décodeurs, modèles chat open-weight, et modèles propriétaires via API).
3. Cadre d'évaluation unifié : Promotion de l'analyse Risque-Couverture comme métrique standard pour les tâches scientifiques, révélant des comportements cachés par les métriques de précision traditionnelles.

4. Résultats Expérimentaux

Les expériences révèlent trois tendances majeures :

• Faible séparation par la précision brute : Les modèles de différentes tailles et architectures (y compris les plus grands comme GPT-5 ou Llama-3-70B) obtiennent des précisions brutes très similaires et souvent médiocres (autour de 0.40 sur SciFact). La taille du modèle ne garantit pas la fiabilité dans un contexte de réponse forcée.
• L'abstention contrôle le risque : L'abstention basée sur la confiance réduit drastiquement le risque d'erreur. À des niveaux de couverture modérés (ex: 80-90%), le risque peut être divisé par deux par rapport à la couverture totale.
• L'abstention prime sur le choix du modèle : La stratégie d'abstention a un impact plus significatif sur la fiabilité que le choix de l'architecture du modèle. Un modèle plus petit, s'il abstient correctement quand les preuves sont faibles, peut être plus fiable qu'un modèle plus grand qui répond de manière confiante mais erronée.
• Modèles instruction-tuned : Les modèles comme FLAN-T5 montrent des comportements plus conservateurs et obtiennent un risque plus faible à couverture égale, car ils sont plus enclins à s'abstenir face à des preuves insuffisantes.

5. Signification et Implications

• Changement de paradigme d'évaluation : L'article plaide pour un changement fondamental dans la manière d'évaluer les systèmes de raisonnement scientifique. La question ne doit plus être "Le modèle peut-il répondre correctement ?" mais "Le modèle sait-il reconnaître quand il ne doit pas répondre ?".
• Fiabilité scientifique : Dans les domaines à haut risque (médical, scientifique), la capacité à reconnaître l'incertitude et à éviter les hallucinations est plus cruciale que la capacité à générer une réponse pour chaque requête.
• Indépendance vis-à-vis de l'architecture : La fiabilité dépend davantage de la structure de décision (quand répondre) que de la puissance brute du modèle génératif.
• Pratique future : Les auteurs suggèrent que les futurs benchmarks scientifiques devraient intégrer l'abstention comme dimension d'évaluation de premier ordre, utilisant l'analyse Risque-Couverture pour mesurer la fiabilité réelle des systèmes.

En résumé, ce travail démontre que l'intégration d'un mécanisme d'abstention conscient des preuves est la clé pour rendre les LLM fiables dans des contextes scientifiques rigoureux, surpassant les gains marginaux apportés par la simple augmentation de la taille des modèles.