💰 quantitative finance

Learning to Aggregate Zero-Shot LLM Agents for Corporate Disclosure Classification

Cette étude démontre qu'un agrégateur léger entraîné peut combiner les jugements de plusieurs agents LLM en zéro-shot pour améliorer significativement la classification des divulgations corporatives et la prédiction des rendements boursiers, surpassant ainsi les approches individuelles et les modèles de base comme FinBERT.

Auteurs originaux : Kemal Kirtac

Publié 2026-03-24

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Kemal Kirtac

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de prédire si le prix d'une action va monter ou descendre demain, en vous basant uniquement sur un long texte officiel publié par une entreprise (un communiqué de presse, un rapport financier, etc.).

C'est un peu comme essayer de deviner la météo en lisant un roman complexe : le texte est plein de nuances, de contradictions et de détails cachés.

Voici l'histoire de la recherche de Kemal Kirtac, racontée simplement :

1. Le Problème : Un seul expert n'est jamais parfait

Aujourd'hui, nous avons des intelligences artificielles très puissantes (les "LLM") capables de lire ces textes sans avoir besoin d'être rééduquées spécifiquement pour chaque tâche. C'est comme avoir un génie qui lit n'importe quel livre.

Mais il y a un hic : ce génie est parfois capricieux.

Si vous lui demandez de se concentrer sur les chiffres (les bénéfices), il dira : "C'est super ! L'action va monter !"
Si vous lui demandez de se concentrer sur les risques (les procès, les dettes), il dira : "C'est terrible ! L'action va chuter !"
Si vous changez légèrement la façon dont vous posez la question, il peut donner une réponse totalement différente pour le même texte.

C'est comme si vous demandiez à trois amis de juger un film. L'un aime l'action, l'autre le scénario, et le troisième les effets spéciaux. Ils vont tous avoir une opinion différente, et vous ne savez pas qui croire.

2. La Solution : L'équipe de trois experts + Le Chef d'orchestre

L'auteur a eu une idée brillante : au lieu de demander à un seul robot de tout décider, il a créé une équipe de trois robots spécialisés qui lisent le même texte, mais avec des lunettes différentes :

L'Expert "Performance" : Il regarde ce qui s'est passé hier (les ventes, les profits).
L'Expert "Avenir" : Il regarde ce que l'entreprise promet pour demain (les prévisions, les espoirs).
L'Expert "Danger" : Il cherche les menaces (les poursuites judiciaires, les problèmes de trésorerie).

Chacun de ces robots donne son avis, son niveau de confiance (de 0 à 100 %) et une petite explication.

Mais comment prendre une décision finale ?

L'ancienne méthode (Le vote majoritaire) : On compte les voix. Si 2 disent "Monte" et 1 dit "Descend", on suit la majorité. C'est simple, mais ça ignore le fait que le robot "Descend" était peut-être très sûr de lui.
La nouvelle méthode (Le Chef d'orchestre) : L'auteur a entraîné un petit "super-robot" (un classificateur logistique) à écouter les trois experts. Ce chef d'orchestre ne se contente pas de compter les voix. Il apprend à dire : "Ah, l'expert 'Avenir' est très confiant et dit que c'est mauvais, même si les deux autres disent que c'est bien. Dans ce cas précis, je vais écouter l'expert 'Avenir'."

3. Le Résultat : Mieux vaut un groupe qu'un seul génie

L'auteur a testé cette méthode sur 18 000 communiqués d'entreprises américaines.

Le meilleur robot seul avait raison environ 56 % du temps (un peu mieux que le hasard).
Le système avec le "Chef d'orchestre" a eu raison 61 % du temps.

Ce n'est pas énorme en pourcentage, mais en finance, c'est comme trouver un trésor caché !

4. Où ça marche le mieux ?

La magie opère surtout quand le texte est confus.
Imaginez une entreprise qui dit : "Nous avons vendu plus que jamais (Super !), mais nous avons un gros procès en cours et nous ne savons pas si nous pourrons payer nos factures l'année prochaine (Terrible !)."

Un robot seul va probablement se focaliser sur le positif ou le négatif et se tromper.
Le "Chef d'orchestre", lui, comprend que le marché va réagir à la combinaison de ces deux nouvelles. Il sait que le doute sur l'avenir annule souvent la bonne nouvelle du présent. Il transforme le désaccord entre les robots en une information précieuse.

En résumé

Cette étude nous dit que pour comprendre des textes financiers complexes, il ne faut pas chercher le robot parfait, mais une équipe de robots qui regardent les choses sous différents angles, et un petit chef qui apprend à écouter le bon robot au bon moment.

C'est comme si, au lieu de demander à un seul juge de décider du verdict d'un procès complexe, vous aviez un jury de trois experts (un comptable, un avocat, un psychologue) et un président de jury qui savait comment pondérer leurs avis pour trouver la vérité.

1. Problématique et Contexte

L'article s'attaque au défi de la classification des divulgations corporatives (disclosures) pour prédire la direction des rendements boursiers à un jour. Bien que les modèles de langage (LLM) en mode « zéro-shot » (sans fine-tuning spécifique) soient capables d'analyser ces textes, leurs prédictions sont souvent instables et varient considérablement selon le prompt, le style de raisonnement ou la famille de modèles utilisée.

Le problème central réside dans la nature complexe des textes financiers : une divulgation peut contenir des signaux contradictoires (par exemple, de bons résultats passés mais des perspectives futures faibles, ou une croissance des revenus accompagnée de risques juridiques). Un seul agent LLM, guidé par un prompt unique, risque de surestimer un aspect au détriment d'un autre. La question de recherche est donc la suivante : la divergence (désaccord) entre plusieurs agents zéro-shot peut-elle être transformée en un signal informatif plutôt qu'en une faiblesse ?

2. Méthodologie

L'auteur propose un cadre multi-agent léger et efficace, structuré en trois étapes principales :

A. Architecture Multi-Agent Zéro-Shot

Trois agents LLM distincts (basés sur des modèles comme Qwen2.5 et Llama-3.2) analysent le même texte de divulgation, mais avec des prompts spécialisés axés sur des perspectives financières différentes :

Agent Performance : Se concentre sur les résultats opérationnels réalisés (bénéfices, revenus, marges).
Agent Guidance : Se concentre sur les orientations futures, les perspectives de la direction et les révisions d'attentes.
Agent Risque : Se concentre sur l'incertitude, les litiges, la régulation, la liquidité et les risques à la baisse.

Chaque agent $k$ produit un tuple $a_k(x) = (l_k, c_k, r_k)$ contenant :

Une étiquette de sentiment $l_k \in \{-1, 0, +1\}$ .
Un score de confiance $c_k \in [0, 1]$ (dérivé des probabilités des tokens générés ou d'un champ explicite).
Une brève justification rationnelle $r_k$ .

B. Agrégation Supervisée (Meta-Classifieur)

Au lieu d'utiliser un vote majoritaire simple ou une pondération fixe, l'auteur entraîne un classifieur logistique léger (meta-classifieur) pour agréger les sorties des agents.

Entrées du classifieur : Un vecteur de caractéristiques $z(x)$ comprenant les trois étiquettes, les trois scores de confiance, le vote majoritaire, les comptes d'accord/désaccord, l'écart de confiance entre les agents les plus sûrs, et des interactions indiquant quel agent (performance, guidance ou risque) est le plus confiant.
Cible : La direction du rendement boursier à un jour ( $y_t = \mathbb{I}(r_{t+1} > 0)$ ).
Contrainte clé : Les LLM de base restent figés (frozen). Seule la couche d'agrégation est entraînée. Cela rend le système économe en données et évite le sur-ajustement (overfitting) des modèles de base.

C. Données et Expérimentation

Jeu de données : 18 420 divulgations corporatives américaines (Nasdaq et S&P 500) de 2018 à 2024.
Split temporel : 60 % entraînement, 20 % développement, 20 % test (pour éviter les fuites d'information temporelles).
Baselines comparées : Agents individuels, vote majoritaire, vote pondéré par la confiance, et un modèle FinBERT (basé sur l'architecture BERT entraîné sur le domaine financier).

3. Résultats Principaux

Les résultats sur l'ensemble de test hors échantillon montrent que l'approche proposée est supérieure à toutes les alternatives :

Performance globale : L'agrégateur entraîné atteint une précision équilibrée (Balanced Accuracy) de 0,612, contre 0,561 pour le meilleur agent individuel (l'agent Guidance) et 0,544 pour le modèle FinBERT.
Comparaison des méthodes :
- L'agrégateur surpasse le vote majoritaire (0,573) et le vote pondéré par la confiance (0,584).
- L'agent Guidance est le plus performant des agents seuls, suivi par l'agent Performance, puis l'agent Risque (qui tend à être trop sensible aux phrases de prudence routinières).
Analyse par régime d'accord :
- Lorsque les trois agents sont d'accord, l'amélioration de l'agrégateur est modeste.
- Gain majeur dans les cas de conflit : L'agrégateur apporte des gains significatifs dans les cas de désaccord (split 2-1) et de forte conflictualité. Il parvient à interpréter la structure du désaccord (par exemple, un agent dissident très confiant vs un agent incertain), ce que le vote majoritaire ne peut pas faire.
Cas d'usage spécifiques : Les gains les plus importants sont observés pour les divulgations combinant de fortes performances actuelles avec des perspectives faibles, ou une croissance chiffrée avec des risques juridiques/réglementaires.

4. Contributions Clés

Cadre Multi-Agent Compact : Introduction d'une configuration zéro-shot où la diversité des perspectives (performance, guidance, risque) est exploitée systématiquement pour l'analyse financière.
Apprentissage de l'Agrégation : Démonstration qu'un classifieur métalogistique léger peut transformer le désaccord entre agents en un signal prédictif supérieur, sans nécessiter de fine-tuning des LLM coûteux.
Valorisation du Désaccord : Preuve empirique que le désaccord entre agents n'est pas du bruit, mais une information structurée cruciale pour classer les textes financiers complexes et ambigus.

5. Signification et Implications

Ce travail est significatif pour la finance computationnelle et le NLP pour plusieurs raisons :

Efficacité des données : Il propose une solution viable pour les environnements financiers où les étiquettes de sentiment de haute qualité sont rares ou coûteuses à produire, mais où les textes bruts sont abondants.
Interprétabilité : Contrairement aux modèles de "juge" complexes, l'agrégateur logistique est simple et permet de comprendre comment les désaccords influencent la prédiction.
Robustesse : La méthode démontre que la diversité des points de vue (via des prompts variés) est essentielle pour capturer la complexité des signaux financiers, là où les méthodes monolithiques échouent souvent.

En conclusion, l'article suggère que pour les tâches de classification de texte financier, l'agrégation supervisée de jugements zéro-shot hétérogènes est une stratégie supérieure aux approches traditionnelles, transformant l'incertitude et le conflit des modèles en un avantage prédictif.