Résumé Technique : Quand les résumés faussent les décisions : Fidélité de l'information dans l'analyse financière compressée par les LLM

1. Formulation du problème

Dans les domaines financiers à enjeux élevés, les décideurs s'appuient sur les modèles de langage de grande taille (LLM) pour compresser de longs documents (ex: rapports 10-Q, transcriptions d'appels de résultats) en contextes plus courts. Alors que les évaluations existantes se concentrent sur la qualité de la reconstruction, la cohérence factuelle ou la préservation de l'information au niveau superficiel, elles échouent souvent à évaluer si le contexte compressé préserve la décision impliquée par la source originale.

Le document définit la Fidélité de l'information comme la préservation de la décision relative à la source : une compression possède une fidélité élevée si la distribution de croyance induite par le texte compressé reste proche de celle de la source originale. Le mode de défaillance principal identifié n'est pas simplement l'hallucination, mais la distorsion de décision, où un résumé fluide et factuellement plausible conduit un décideur en aval à un jugement d'investissement (Bear/Neutre/Bull) différent de celui que soutiendrait le texte intégral de la source. Cette distorsion peut provenir de :

• La décontextualisation : La rétention de faits saillants (titres) tout en supprimant les nuances, les compensations, les comparaisons ou le cadrage des attentes nécessaires à une interprétation correcte.
• La dépendance au modèle : Différents modèles de compression préservant différents sous-ensembles de preuves issus d'une même source, menant à des biais systématiques et spécifiques au modèle dans la décision résultante.

2. Méthodologie

2.1 Configuration expérimentale

• Jeux de données : L'étude utilise 300 sections MD&A de rapports 10-Q et 297 transcriptions d'appels de résultats trimestriels de sociétés du S&P 100 (T1–T3 de l'exercice 2025).
• Modèle de décision : Un modèle de décision fixe ($E$), spécifiquement GEMINI-3.1-FLASH-LITE, qui mappe le texte vers une distribution de croyance sur $\{bear, neutral, bull\}$.
• Métriques :
  • Taux de retournement de décision (Decision Flip Rate) : La fraction de documents où l'étiquette prédite principale change après la compression.
  • Distance de variation totale (TVD) : Mesure l'ampleur du changement de croyance, même lorsque l'étiquette principale reste inchangée.
  • Seuil de bruit (Noise Floor) : Établi en faisant relire la source originale sans compression au modèle de décision pour quantifier l'aléa inhérent au modèle.

2.2 Approches de compression évaluées

1. Prompt Naïf : Une compression par LLM en un seul passage sélectionnant les faits les plus "matériels" dans un budget de puces (bullets) fixe.
2. Contextualisation : Une modification du prompt instruisant le LLM de préserver les détails qui rendent les faits interprétables (ex: comparaisons, mises en garde) plutôt que de simples faits saillants isolés.
3. Élagage de jetons (Token Pruning) : Des méthodes comme LLMLingua et LongLLMLingua qui suppriment les jetons à faible information.
4. Intégrateur : Fusion de résumés provenant de plusieurs modèles sans vérification de la source.
5. Compression de contexte agentique (ACC - Agentic Context Compression) : Un processus agentique en deux étapes proposé :
   • Génération : Plusieurs compressions candidates sont générées à partir de la même source en utilisant différents modèles.
   • Audit : Un agent audite les désaccords entre les candidats par rapport à la source originale. Il utilise des outils pour grep et lire des segments spécifiques de la source afin de vérifier si un candidat sur-déclare (ex: rendant les preuves plus optimistes/bullish ou pessimistes/bearish que ce que la source soutient).
   • Sélection : L'agent sélectionne le candidat présentant le risque de sur-déclaration le plus faible et la meilleure couverture du locus de la source.

2.3 Analyse diagnostique

Les auteurs utilisent un inventaire de faits hors ligne (inspiré de FActScore et SAFE) pour décomposer les textes sources en Faits de Titre (signaux primaires), Faits de Contexte (calibrateurs/nuances) et Éléments de routine (Boilerplate). Cela permet de quantifier la décontextualisation (la suppression disproportionnée des faits de contexte).

3. Résultats clés

3.1 La perte de fidélité est significative

• Retournements de décision : Toutes les bases de comparaison de compression en un seul passage dépassent significativement le "seuil de bruit" du modèle de décision. Pour les MD&A des 10-Q, la compression naïve a provoqué un taux de retournement de décision de 33,0 %, contre un seuil de bruit de 11,0 %. Pour les appels de résultats, le taux était de 23,9 % contre 8,8 %.
• Dérive de croyance (Belief Drift) : Même sans changement d'étiquette, la compression provoque des décalages importants dans les distributions de croyance (TVD), indiquant une perte de nuance.
• Sensibilité au budget : Augmenter le budget de compression (plus de puces) réduit la TVD mais n'élimine pas les retournements de décision, suggérant que l'ajout d'espace ne résout pas le problème de quel information est sélectionnée.

3.2 Motifs diagnostiques

• Décontextualisation : Sous compression naïve, la proportion de faits de "contexte" chute de 25 % dans la source à 9 % dans le résultat compressé pour les MD&A. Restaurer ces faits de contexte supprimés dans une expérience d' "ajout de retour" a permis de récupérer la décision originale dans 37 % des cas de retournement, surpassant nettement le taux de récupération des éléments de routine ou des faits aléatoires.
• Dépendance au modèle : Différents compresseurs induisent des décalages de décision différents pour un même ticker. Par exemple, un modèle peut faire basculer une action vers le "Bearish" tandis qu'un autre la fait basculer vers le "Bullish", avec des points de TVD élevés variant selon les modèles. Cela confirme que la distorsion induite par la compression n'est pas aléatoire mais systématique et spécifique au modèle.

3.2 Efficacité de la Compression de Contexte Agentique (ACC)

• Performance de l'ACC : L'ACC a réduit le taux de retournement de décision des MD&A à 20,3 % et celui des appels de résultats à 18,5 %, surpassant à la fois la compression naïve et la base de comparaison "Intégrateur" (qui fusionne simplement les résumés sans audit).
• Étude de cas sectorielle : Dans un déploiement au sein d'un produit commercial de prévision boursière, l'ACC a amélioré le coefficient d'information (IC) de prévision de 8,3 % par rapport à la base de référence de la source originale et de 23,8 % par rapport à la compression naïve, tout en réduisant les retournements de décision relatifs à la source de 59,5 %.

4. Contributions

1. Critère de Fidélité de l'Information : Le papier introduit une métrique centrée sur la décision pour évaluer la compression de contexte, allant au-delà de la facticité pour évaluer si la décision impliquée par la source est préservée.
2. Preuve empirique de la distorsion : En utilisant des données financières réelles, l'étude démontre que la compression par LLM modifie fréquemment les jugements d'investissement, identifiant la décontextualisation et la dépendance au modèle comme les principaux mécanismes.
3. Compression de Contexte Agentique (ACC) : Les auteurs proposent et valident une procédure ancrée dans la source qui génère plusieurs candidats et les audite par rapport à la source originale pour atténuer les retournements de décision.

5. Signification et affirmations

Le papier soutient que dans la prise de décision financière, préserver des faits isolés est insuffisant. La valeur d'un résumé réside dans sa capacité à conserver les qualificateurs contextuels (nuances, comparaisons, cadrage) nécessaires pour interpréter correctement ces faits.

Les auteurs affirment que :

• La compression doit être évaluée non seulement par son efficacité ou sa facticité de surface, mais par sa capacité à préserver le contexte pertinent pour la décision.
• La distorsion de décision est un mode de défaillance systématique qui peut être atténué en auditant plusieurs vues compressées par rapport à la source, plutôt qu'en se fiant au résumé d'un seul modèle.
• Dans les systèmes de production, maintenir la fidélité de l'information est crucial pour préserver les signaux de prévision en aval, car une compression naïve peut dégrader les performances du modèle même lorsque le résumé semble fluide et plausible.

6. Limites

Les auteurs notent que leurs conclusions sont spécifiques aux divulgations financières des sociétés du S&P 100 et pourraient ne pas se généraliser à d'autres domaines. La fidélité est mesurée via un modèle de décision plutôt que par des analystes humains ou des résultats de marché réalisés. De plus, l'ACC réduit mais n'élimine pas la perte de fidélité, particulièrement si tous les candidats de compression omettent la même information critique.