💬 NLP

When Should LLMs Be Less Specific? Selective Abstraction for Reliable Long-Form Text Generation

Cet article introduit l'Abstraction Sélective, un cadre qui améliore la fiabilité de la génération de longs formats par les LLM en remplaçant les affirmations atomiques incertaines par des abstractions moins spécifiques et à plus haute confiance, améliorant ainsi considérablement la précision tout en préservant le contenu informationnel global de la réponse.

Auteurs originaux : Shani Goren, Ido Galil, Ran El-Yaniv

Publié 2026-06-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shani Goren, Ido Galil, Ran El-Yaniv

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le gros problème : Le « Chef trop sûr de lui »

Imaginez que vous engagiez un chef très talentueux (un Grand Modèle de Langage, ou LLM) pour écrire la biographie détaillée d'une personne célèbre. Le chef est excellent pour écrire, mais il arrive parfois qu'il soit un peu trop confiant concernant des détails précis dont il n'est pas sûr à 100 %.

L'ancienne méthode (L'approche « Tout ou Rien ») : Si le chef n'est pas sûr d'un seul ingrédient (par exemple, la date exacte de naissance), la règle de sécurité actuelle dit : « Jetez tout le plat ». Le chef refuse de servir la biographie du tout. C'est sûr, mais c'est du gaspillage. Vous perdez toute la bonne information sur la vie de la personne juste à cause d'un détail incertain.
La conséquence dans le monde réel : Dans des situations à enjeux élevés (comme le droit ou la médecine), un seul fait erroné peut ruiner la confiance. Mais dans les récits longs, jeter toute l'histoire est trop extrême.

La nouvelle solution : L'« Abstraction Sélective »

Les auteurs proposent une nouvelle stratégie appelée Abstraction Sélective (SA). Au lieu de jeter tout le plat, le chef apprend à simplifier les parties incertaines tout en gardant le reste du repas délicieux.

Pensez-y comme à un cartographe (faiseur de cartes) dessinant la carte d'un nouveau territoire :

Trop spécifique (Risqué) : « Ce chemin mène à un chêne rouge avec un écureuil nommé Steve. » (Si le chef se trompe sur l'écureuil, toute la carte est un mensonge.)
Trop vague (Inutile) : « Il y a une forêt quelque part. » (C'est sûr, mais cela ne vous apprend rien.)
L'Abstraction Sélective (Le juste milieu) : « Il y a une forêt avec des arbres. » (Si le chef n'est pas sûr du type d'arbre spécifique ou de l'écureuil, il dit simplement « des arbres ». La carte est toujours utile, mais elle est désormais fiable.)

Comment ça marche : La chaîne de montage des « Atomes »

Le papier décompose ce processus en quatre étapes, comme une chaîne de montage d'usine :

Génération (Le Brouillon) : L'IA écrit d'abord l'histoire complète.
Atomisation (Décomposition) : L'IA décompose l'histoire en de minuscules « atomes » de faits uniques.
- Exemple : Au lieu d'une phrase disant « Amelia Earhart est née à Chicago, Illinois, le 24 juillet 1897 », elle la décompose en trois atomes distincts :
  - Atome A : Née aux États-Unis.
  - Atome B : Née dans l'Illinois.
  - Atome C : Née le 24 juillet 1897.
Vérification de la confiance et Abstraction (Le Filtre de Sécurité) : L'IA se demande : « À quel point suis-je sûr de chaque atome ? »
- Si elle est sûre à 99 % de « Née aux États-Unis », elle le garde.
- Si elle n'est sûre qu'à 60 % de la date exacte « 24 juillet », elle ne supprime pas la phrase. À la place, elle l'abstrait. Elle transforme « 24 juillet 1897 » en « dans les années 1890 » ou « au XXe siècle ».
- L'analogie : C'est comme dézoomer sur un appareil photo. Si la mise au point est floue sur un visage spécifique, vous dézoomez jusqu'à ce que toute la tête soit nette. L'image est moins détaillée, mais elle n'est plus floue.
Reconstruction (Remise en place) : L'IA recoud ces atomes simplifiés et sûrs pour former un récit cohérent.

Les Résultats : Plus de Vérité, Moins de Détails

Les chercheurs ont testé cette méthode sur six modèles d'IA différents en utilisant deux grands ensembles de données (l'un sur les biographies, l'autre sur des faits généraux). Ils ont comparé leur méthode à d'autres façons de gérer l'incertitude, comme la suppression de phrases (la Redaction).

La Métrique : Ils ont mesuré l'échange entre le Risque (combien de mensonges sont dans le texte) et la Couverture (quelle quantité d'informations utiles subsiste).
Le Constat : L'Abstraction Sélective était la grande gagnante. Elle a réduit le « Risque » (les mensonges) de manière significative sans autant sacrifier la « Couverture » (les infos utiles) que les autres méthodes.
- L'analogie : Imaginez que vous avez un seau d'eau avec de la boue dedans.
  - La Redaction consiste à verser tout le seau parce qu'il y a de la boue. Vous n'avez plus d'eau du tout.
  - L'Abstraction Sélective revient à filtrer l'eau. Vous perdez un peu de volume, mais vous obtenez un verre d'eau propre et potable.
- Le papier a révélé que cette méthode améliore l'équilibre entre sécurité et utilité jusqu'à 27,73 % par rapport à la simple suppression de phrases.

Pourquoi c'est important

Le papier soutient que dans le monde réel, nous n'avons pas toujours besoin de la réponse la plus spécifique ; nous avons besoin de la réponse la plus fiable.

L'incident de Bard : Le papier mentionne un exemple réel où l'IA de Google (Bard) a affirmé avec assurance qu'un télescope spatial avait pris les « toutes premières images » d'une exoplanète. C'était faux de près de 20 ans.
La Correction : Si l'IA avait utilisé l'Abstraction Sélective, elle aurait pu dire : « Le télescope a pris des photos d'exoplanètes », ou « Il a contribué à des découvertes majeures ». Elle aurait été moins spécifique, mais elle aurait été vraie.

Résumé

Ce papier introduit une façon pour l'IA de dire : « Je ne suis pas sûre à 100 % de ce détail spécifique, donc je vais dire quelque chose d'un peu plus général dont je suis sûre », plutôt que de mentir avec assurance ou de rester totalement silencieuse. Cela transforme l'IA d'un robot rigide « tout ou rien » en un conteur flexible et honnête.

Résumé Technique : L'Abstraction Sélective pour la Génération de Textes Longs Fiables

Énoncé du Problème

Les grands modèles de langage (LLM) sont sujets à des erreurs factuelles, ce qui érode la confiance des utilisateurs et limite leur adoption dans des domaines à enjeux élevés comme la santé ou le droit. Bien que des mécanismes d'estimation de l'incertitude existent pour atténuer ce problème, les approches actuelles reposent sur une décision binaire « tout ou rien » : soit le modèle génère une réponse, soit il s'abstient totalement. Cette approche binaire est excessivement restrictive pour la génération de textes longs. Les réponses longues contiennent souvent de nombreuses affirmations factuelles présentant des niveaux d'incertitude variés ; s'abstenir de générer l'intégralité d'une réponse à cause d'un seul détail incertain revient à rejeter des informations précieuses. À l'inverse, générer le texte complet sans modification risque d'inclure des hallucinations. Le document identifie un besoin critique pour une approche plus fine permettant aux modèles de troquer la spécificité contre la fiabilité sans pour autant rejeter l'ensemble des réponses.

Méthodologie : L'Abstraction Sélective (AS)

Les auteurs introduisent l'Abstraction Sélective (AS), un cadre qui permet aux LLM de réduire le niveau de détail du contenu incertain plutôt que de le supprimer entièrement. L'idée centrale est de remplacer les affirmations à faible confiance par des abstractions moins spécifiques mais de plus haute confiance.

Formalisation du Cadre

L'AS est formalisée à travers les prismes du risque sélectif et de la couverture :

Risque : Défini comme le taux d'erreurs factuelles (hallucinations) dans le texte généré.
Couverture : Définie comme la fraction de l'information conservée par rapport à la génération originale.
Compromis : En faisant varier un seuil de confiance $\theta$ , l'AS induit une courbe de compromis où des seuils plus élevés réduisent le risque (en augmentant l'abstraction) mais réduisent également la couverture (en supprimant la spécificité).

Abstraction Sélective par Atome

Le papier propose une instanciation spécifique appelée Abstraction Sélective par Atome, qui opère au niveau de la revendication (claim) via un pipeline en quatre étapes :

Génération : Le LLM génère une réponse initiale $T$ à partir d'un prompt $p$ .
Atomisation : La réponse est décomposée en revendications atomiques (atomes). Ce sont des énoncés courts et autonomes, chacun exprimant un fait unique (ex : « Amelia Earhart est née à Atchison, Kansas »).
Abstraction : Il s'agit de l'étape de traitement central, composée de trois étapes :
- Élicitation de la confiance : Le modèle attribue un score de confiance à chaque atome.
- Génération d'abstraction : Pour les atomes dont la confiance est inférieure à un seuil $\theta$ , le modèle génère une séquence d'abstractions de plus en plus générales (ex : « Atchison, Kansas » $\to$ « Kansas » $\to$ « Midwest américain » $\to$ « États-Unis »). La séquence se termine par une abstention totale ( $\top$ ).
- Sélection : Le modèle attribue des scores de confiance à la séquence d'abstractions. Il sélectionne l'abstraction la plus spécifique de la séquence qui satisfait le seuil de confiance $\theta$ . Si aucune abstraction ne respecte le seuil, l'atome fait l'objet d'une abstention.
Reconstruction : Les abstractions sélectionnées sont reconstruites en un texte cohérent $T'$ .

Pipeline d'Évaluation

Pour évaluer l'AS, les auteurs ont développé un pipeline de bout en bout pour la génération factuelle ouverte :

Mesure du Risque : Utilise un système de vérification des faits agentique qui vérifie les revendications atomiques par rapport à Wikipédia. Une revendication est étiquetée comme « soutenue » si une preuve est trouvée, sinon elle est « non soutenue ». Le risque est calculé comme $1 - \text{exactitude}$ .
Mesure de la Couverture : Utilise une mesure de type informationnelle. Le contenu informationnel d'une revendication est quantifié par la réduction de l'entropie qu'elle apporte concernant l'ensemble des entités compatibles (ex : « née à Londres » est plus informatif que « née en Europe » car cela réduit davantage l'ensemble des personnes possibles). La couverture est le ratio de l'information conservée dans $T'$ par rapport à celle de $T$ .
Métriques : Les performances sont résumées à l'aide de courbes Risque-Couverture (RC) et de l'Aire Sous la Courbe Risque-Couverture (AURC). Un AURC plus faible indique un meilleur compromis.

Contributions Clés

Cadre d'Abstraction Sélective : Un cadre général pour échanger la spécificité contre la fiabilité dans la génération de textes longs, formalisé via le risque sélectif et la couverture.
Instanciation par Atome : Une procédure au niveau de la revendication qui remplace sélectivement les revendications incertaines par des abstractions de plus haute confiance plutôt que de les supprimer.
Pipeline d'Évaluation : Un nouveau pipeline de bout en bout pour la génération ouverte qui instancie le risque par la justesse factuelle et la couverture via une mesure informationnelle du contenu conservé.
Validation Empirique : Démonstrations sur six modèles open-source et deux benchmarks (FactScore et LongFact-Objects) montrant des améliorations constantes par rapport aux lignes de base.
Algorithme de Sélection de Seuil : Un algorithme basé sur la prédiction de conformité scindée (split conformal prediction) pour sélectionner des seuils de confiance qui répondent à des risques cibles définis par l'utilisateur avec une haute probabilité.

Résultats

Les auteurs ont évalué la méthode sur six modèles open-source (incluant GPT-OSS, Qwen3 et Llama 3.3) en utilisant les benchmarks FactScore et LongFact-Objects.

Performance par rapport aux Baselines : L'AS par atome surpasse systématiquement les lignes de base existantes, notamment la Réduction Sélective (suppression pure et simple des atomes incertains), l'Abstraction en Ligne (génération dès le départ à une granularité plus grossière) et la Révision de Soi (réécriture post-hoc).
Améliorations de l'AURC : L'AS par atome améliore l'AURC jusqu'à 27,73 % par rapport à la suppression de revendications (Réduction) sur le benchmark FactScore. Les améliorations moyennes sont de 17,43 % sur FactScore et 13,77 % sur LongFact.
Compromis Risque-Couverture : La méthode parvient à une courbe de compromis plus fluide, dominant les lignes de base sur toute la plage de couverture. À niveaux de couverture équivalents, l'AS par atome atteint un risque nettement inférieur (écart moyen d'environ 10 points de pourcentage) par rapport aux baselines d'Abstraction en Ligne et de Révision de Soi.
Sélection de Seuil : L'algorithme proposé sélectionne avec succès des seuils qui maintiennent le risque empirique proche des risques cibles définis par l'utilisateur pour différents modèles et jeux de données.

Signification et Revendications

Le papier soutient que la fiabilité dans la génération de textes longs n'est pas un choix binaire entre répondre et s'abstenir, mais un spectre entre spécificité et exactitude. La signification de ce travail réside dans la démonstration que réduire la spécificité peut accroître l'exactitude et la fiabilité tout en préservant l'essentiel du sens original.

En opérant au niveau de revendications individuelles, la méthode proposée évite la perte d'information abrupte associée à la suppression de phrases ou de revendications entières. Au lieu de cela, elle offre un contrôle ciblé et spécifique à chaque revendication sur l'incertitude. Les auteurs positionnent l'Abstraction Sélective comme une étape vers des paradigmes de génération qui raisonnent explicitement sur la quantité appropriée de détails dans une réponse, suggérant que dans des contextes à enjeux élevés, des réponses moins spécifiques sont préférables à des erreurs confiantes.

Le papier reste modeste quant aux directions futures, notant que la qualité de l'abstraction dépend fortement de la fonction de score de confiance (la confiance verbalisée s'est révélée supérieure aux scores basés sur les log-probabilités) et que la modélisation des dépendances entre les revendications (plutôt que de les traiter comme indépendantes) pourrait encore améliorer les résultats.