Résumé technique : La précision n'est pas la fidélité

Énoncé du problème

Les métriques de fidélité sans référence actuelles pour la génération ancrée souffrent d'un angle mort critique : elles ne mesurent que la précision (la proportion d'affirmations faites par un modèle qui sont soutenues par la vérité de terrain) mais ignorent le rappel (la proportion de faits pertinents de la vérité de terrain que le modèle a réellement énoncés).

Parce que ces métriques ne pénalisent pas les omissions, elles récompensent par inadvertance l'abstention. Un modèle peut obtenir des scores de fidélité quasi parfaits en énonçant un seul fait sûr et en omettant tous les autres informations pertinentes. Dans les contextes à domaine ouvert, mesurer le rappel est structurellement difficile car il n'existe pas d'ensemble complet et énumérable de faits pertinents pour servir de dénominateur. Par conséquent, les bancs d'essai existants ne peuvent pas distinguer un modèle hautement informatif d'un modèle simplement prudent et peu informatif.

Méthodologie

Pour remédier à cela, les auteurs introduisent une approche d'oracle complet, utilisant des domaines où la vérité de terrain stratégique peut être dérivée de manière déterministe et exhaustive.

1. L'Oracle Complet (Formule 1 & Météo)

Le domaine expérimental principal est l'explication de stratégie de Formule 1. En utilisant l'API FastF1, les auteurs extraient des données de chronométrage et de télémétrie pour dériver un ensemble déterministe d'événements stratégiques (arrêts aux stands, composés de pneus, tentatives d'undercut/overcut, défenses sur piste).

• Complétude : Pour chaque instance de décision, le système énumère l'ensemble complet des faits vérifiables qu'une explication fidèle doit couvrir (ex: numéros de tours de stand spécifiques, changements de composés, écarts de temps).
• Benchmark : Un jeu de données multilingue (anglais, espagnol, portugais) de 7 253 instances de décision couvrant 150 courses (2018–2025) a été construit.
• Domaine secondaire : Les résultats ont été reproduits dans un domaine de prévisions météorologiques utilisant les relevés de la NOAA, où chaque enregistrement de prévision constitue un ensemble complet de faits énumérables.

2. La Métrique : Précision + Rappel

Les auteurs proposent une métrique sans référence qui décompose les générations du modèle en affirmations atomiques et les vérifie par rapport à la vérité de terrain structurée :

• Précision (Fidélité) : La fraction d'affirmations faites par le modèle qui sont soutenues.
• Rappel (Couverture) : La fraction des faits énumérables de la vérité de terrain que le modèle a correctement énoncés.
• Score F1 : La moyenne harmonique de la précision et du rappel, utilisée pour évaluer l'équilibre entre exactitude et informativité.

3. Extraction et Vérification

Deux backends d'extraction ont été employés pour assurer la robustesse :

• Un extracteur regex indépendant des dépendances (pour l'anglais) et un extracteur LLM (pour le support multilingue) afin de parser le texte libre en affirmations typées.
• La vérification a été validée via une perturbation contrôlée (injection d'erreurs) et un accord entre extracteurs (corrélation de Spearman de 1,00 entre le regex et les extracteurs de familles LLM croisées au niveau du système).

4. Génération Guidée par le Vérificateur

Une méthode de génération a été développée où un modèle affine ses sorties de manière itérative sur la base des retours d'un vérificateur structuré. La boucle de rétroaction fournit des instructions ciblées pour corriger les affirmations contredites et ajouter les faits de vérité de terrain non couverts, améliorant ainsi la précision et le rappel sans nécessiter de textes de référence.

Résultats Clés

1. La précision récompense l'abstention ; la couverture réordonne les classements

La conclusion centrale est que le classement des modèles change de manière significative lorsqu'une couverture est exigée.

• L'effet d'abstention : Le modèle le plus précis de l'étude, grok-4.3 (Précision de 0,89 en portugais), n'a couvert que 0,46 des faits pertinents, résultant dans le score F1 le plus bas (0,61).
• Inversion de classement : Inversement, des modèles plus verbeux comme DeepSeek-V3.2 avaient une précision légèrement inférieure mais un rappel nettement plus élevé, menant à un score F1 bien plus important.
• Consistance : Cette inversion s'est produite dans les trois langues (EN, ES, PT) et dans le domaine secondaire de la météo. Le modèle le plus précis n'était jamais le plus complet.

2. Le prompting ne résout pas l'écart

Les expériences avec un prompt explicite de type "couvrir tout" (instruisant les modèles d'énoncer chaque fait supportable) n'ont pas réussi à combler l'écart de couverture. En fait, le rappel moyen a diminué (de 0,60 à 0,47), et seulement 2 modèles sur 5 ont montré une quelconque amélioration. Cela indique que la faible couverture n'est pas simplement un artefact d'un sous-prompting, mais une limitation fondamentale des modèles actuels dans la génération de texte ancré exhaustif.

3. Les petits modèles fine-tunés peuvent rivaliser

Un petit modèle open-source (Qwen2.5-3B) fine-tuné sur des explications ancrées a obtenu le score F1 le plus élevé (0,982) de l'étude, surpassant les modèles de pointe. Cependant, les auteurs notent que cette performance repose sur la capacité du modèle à reproduire fidèlement des templates déterministes, ce qui soulève une mise en garde concernant le mimétisme de template versus le raisonnement véritable.

4. La génération guidée par le vérificateur améliore la performance

L'application de la méthode d'auto-correction guidée par le vérificateur à gpt-5.4-mini a augmenté sa précision de 0,640 à 0,881, démontant que les signaux de vérification structurés peuvent guider efficacement la génération sans textes de référence.

Signification et Revendications

L'article affirme que la précision n'est pas la fidélité. En introduisant un cadre d'oracle complet, les auteurs démontrent que :

1. Les métriques de fidélité sans référence sont incomplètes : Elles ne pénalisent pas les réponses peu informatives, menant à des évaluations trompeuses où l'abstention est récompensée.
2. Les classements de systèmes sont instables : Se fier uniquement à la précision réordonne les comparaisons de systèmes, favorisant potentiellement des modèles qui sont précis mais peu utiles.
3. La couverture est mesurable : Dans les domaines dotés d'une vérité de terrain déterministe, le rappel peut être mesuré exactement, révélant un écart significatif entre la précision et la couverture dans les modèles de pointe.
4. Le problème est général : Le phénomène n'est pas unique à la F1 mais apparaît dans d'autres domaines de données-vers-texte (météo), suggérant qu'il s'agit d'une propriété des métriques basées uniquement sur la précision plutôt que d'un problème spécifique au jeu de données.

Les auteurs publient le benchmark, les annotations structurées, la métrique, les lignes de base et une démo interactive pour faciliter la recherche sur l'évaluation sensible à la couverture. Ils reconnaissent les limites, notamment le fait que leur métrique de rappel est bornée par l'ontologie de schéma spécifique de leurs claims et que les résultats de fine-tuning peuvent refléter un mimétisme de template.