🤖 AI

A Unified Framework for Modeling Heterogeneous Financial Data via Dual-Granularity Prompting

Le papier présente FinLangNet, un cadre novateur qui reformule le scoring de crédit comme un problème d'apprentissage séquentiel multi-échelle grâce à une architecture à double granularité de prompts, permettant d'améliorer significativement les performances industrielles et de réduire les taux de défaut.

Auteurs originaux : Yu Lei, Zixuan Wang, Yiqing Feng, Junru Zhang, Yahui Li, Chu Liu, Tongyao Wang, Dongyang Li

Publié 2026-04-21

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yu Lei, Zixuan Wang, Yiqing Feng, Junru Zhang, Yahui Li, Chu Liu, Tongyao Wang, Dongyang Li

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🏦 FinLangNet : Le Détective de la Banque qui Voit dans le Futur

Imaginez que vous êtes un banquier. Votre travail consiste à décider si vous devez prêter de l'argent à quelqu'un. Le problème ? Les gens changent. Un client peut être très fiable aujourd'hui, mais faire des folies demain.

Pendant des années, les banques ont utilisé des méthodes un peu "rétro" (comme XGBoost, un outil très populaire mais rigide) pour faire ces prédictions. C'est comme si vous essayiez de prédire la météo en regardant uniquement une photo prise il y a un an. Ça marche pour le présent, mais c'est mauvais pour le futur.

Les chercheurs de l'équipe (DiDi, l'Université de Beijing, etc.) ont créé un nouveau système appelé FinLangNet. Voici comment il fonctionne, avec des images simples.

1. Le Problème : Un Puzzle Désordonné

Les données financières sont un vrai chaos :

Des données statiques : Votre âge, votre métier, votre salaire (ça ne change pas souvent).
Des données dynamiques : Vos achats, vos demandes de crédit, vos retards de paiement (ça change tout le temps).

Les anciennes méthodes traitaient tout ça comme un gros tas de chiffres statiques. Elles ne comprenaient pas que l'histoire d'un client est une histoire, pas juste une photo.

2. La Solution : FinLangNet, le "Cerveau à Double Mémoire"

FinLangNet est comme un détective qui a deux mémoires distinctes mais qui travaillent ensemble :

Mémoire A (Le Profil Statique) : C'est la partie qui regarde qui vous êtes "de base". Elle utilise une technique appelée DeepFM.
- L'analogie : Imaginez un expert qui lit votre CV. Il sait que si vous avez un bon diplôme et un métier stable, c'est un bon signe. Il ne regarde pas ce que vous avez fait hier, juste qui vous êtes.
Mémoire B (Le Chroniqueur Temporel) : C'est la partie la plus innovante. Elle regarde votre histoire (vos transactions, vos emprunts).
- L'analogie : C'est comme un romancier qui lit votre journal intime. Il ne se contente pas de lire une page, il voit comment l'histoire évolue. Est-ce que vous commencez à dépenser plus ? Est-ce que vous faites des demandes de crédit de plus en plus fréquentes ?

3. La Magie : Les "Prompts" (Les Post-it Intelligents)

C'est ici que FinLangNet devient génial. Pour analyser cette histoire, il utilise une astuce appelée "Dual-Prompting" (Double Rappel).

Imaginez que vous lisez un livre très long et compliqué.

Le Prompt "Détail" (Niveau Caractère) : C'est comme mettre un post-it sur chaque chapitre pour dire : "Attention, ce personnage a un comportement bizarre ici". Cela permet au système de voir les petits changements dans vos habitudes (ex: vous avez acheté un café tous les jours, puis soudainement 5 cafés par jour).
Le Prompt "Global" (Niveau Histoire) : C'est comme mettre un post-it géant au début du livre pour dire : "Résumé global : ce personnage devient de plus en plus stressé". Cela permet au système de comprendre votre profil de risque global, pas juste les détails isolés.

En combinant ces deux niveaux de lecture, le système comprend à la fois les petits détails et la grande image.

4. La Prédiction : Voir Plusieurs Futurs à la Fois

Les anciennes méthodes disaient : "Ce client va-t-il payer dans 30 jours ? Oui ou Non ?".
FinLangNet dit : "Voici la probabilité qu'il paie dans 30 jours, dans 60 jours, et dans 90 jours."

C'est comme un météorologue qui ne vous dit pas juste "il va pleuvoir", mais qui vous donne un bulletin pour demain, la semaine prochaine et le mois prochain. Cela permet à la banque de mieux gérer les risques sur le long terme.

5. Les Résultats : Pourquoi c'est une Révolution ?

Quand ils ont testé ce système dans la vraie vie (sur des millions d'utilisateurs de l'application DiDi) :

Moins de mauvaises dettes : Ils ont réduit les impayés de 9,9 %. C'est énorme ! Imaginez économiser des millions d'euros juste en changeant la façon de lire les données.
Meilleure détection : Le système a repéré des clients à risque que les anciennes méthodes avaient manqués.
Robustesse : Même si on ne donne au système que peu d'historique (un client nouveau), il fonctionne très bien. C'est comme un détective qui peut deviner le caractère d'une personne même s'il ne l'a rencontrée que quelques minutes.

En Résumé 🌟

FinLangNet, c'est comme passer d'un calculateur (qui fait des maths simples sur des chiffres fixes) à un psychologue expert (qui comprend votre histoire, vos habitudes et vos changements d'humeur).

Au lieu de simplement dire "Oui" ou "Non" basé sur une photo du passé, ce système lit votre film en cours et prédit la fin de l'histoire avant même qu'elle n'arrive. Résultat : moins de pertes d'argent pour les banques et des décisions plus justes pour tout le monde.

1. Problématique et Contexte

Le crédit scoring industriel repose encore majoritairement sur des méthodes d'apprentissage statistique manuel, notamment XGBoost, en raison de leur stabilité et de leur interprétabilité. Cependant, ces approches présentent des limites critiques face à la complexité des données financières modernes :

Hétérogénéité des données : Les données proviennent de sources multiples (rapports de crédit, historiques de transactions, comportements d'usage) et sont bruyantes, dispersées, discrètes et comportent de nombreuses valeurs manquantes.
Limites temporelles : Les modèles statiques actuels échouent à capturer les dépendances temporelles à long terme et l'évolution dynamique de la solvabilité d'un utilisateur. Ils se concentrent souvent sur une prédiction à un instant donné (point-in-time), ce qui est insuffisant pour une gestion des risques complète sur différents horizons futurs.
Coût de l'ingénierie des caractéristiques : L'approche XGBoost nécessite une ingénierie de features extensive et coûteuse en temps, reposant sur une expertise métier profonde.

L'objectif est donc de reformuler le problème de scoring de crédit non plus comme une simple classification binaire, mais comme un problème d'apprentissage séquentiel multi-échelle, capable de prédire la distribution des comportements financiers futurs sur plusieurs horizons temporels.

2. Méthodologie : FinLangNet

Les auteurs proposent FinLangNet, un cadre d'apprentissage hybride composé de deux modules complémentaires fusionnés pour générer des prédictions de risque.

A. Architecture Globale

Le modèle traite deux types de données d'entrée :

Composant Non-Séquentiel ( $m$ ) : Attributs statiques (profil utilisateur, revenu, âge, etc.).
Composant Séquentiel ( $z$ ) : Comportements dynamiques provenant de $S$ sources (historique de requêtes, logs de prêts, comptes).

B. Module Non-Séquentiel (DeepFM)

Pour capturer les interactions complexes au sein des données tabulaires statiques, le modèle utilise DeepFM :

Une composante Factorization Machine (FM) pour les interactions d'ordre faible (deuxième ordre).
Un réseau de neurones profond (DNN) pour les interactions non linéaires d'ordre élevé.
Cela génère une représentation d'interaction statique ( $O_m$ ).

C. Module Séquentiel (SRG - Sequence Representation Generator)

C'est le cœur de l'innovation, conçu pour gérer la nature hétérogène et dispersée des séries temporelles financières.

Discrétisation : Les signaux financiers continus sont transformés en tokens discrets via un Tokenizer pour réduire le bruit et la sparsité.
Mécanisme de Double Prompt (Dual-Prompt) : Inspiré par les Transformers, ce mécanisme introduit des vecteurs appris (prompts) à deux granularités pour guider l'apprentissage des représentations :
- Prompt au niveau des caractéristiques ( $e_{\phi_c}$ ) : Un token appris préfixé à chaque canal de source. Il capture les motifs temporels fins spécifiques à chaque dimension de fonctionnalité.
- Prompt au niveau de l'utilisateur ( $P_s$ ) : Un vecteur global appris agrégé via une attention pondérée sur toutes les sources. Il capture le profil de risque holistique de l'utilisateur.
Encodage : Ces séquences augmentées sont traitées par un encodeur Transformer pour produire une représentation séquentielle globale ( $O_{ns}$ ).

D. Prédiction Multi-échelle et Optimisation

Fusion : Les embeddings statiques et séquentiels sont concaténés.
Tâches multiples : Le modèle prédit simultanément la probabilité de défaut sur $L$ horizons temporels différents (ex: 30, 60, 90 jours).
Fonction de perte hybride dynamique : Pour gérer le déséquilibre des classes et la difficulté variable des échantillons, les auteurs utilisent une perte pondérée combinant :
- Une Perte Logarithmique Pondérée (WLL) pénalisant davantage la classe minoritaire (défaut).
- Un Minage Dynamique d'Exemples Difficiles qui ajuste les poids des échantillons en fonction de l'incertitude de la prédiction (norme du gradient).

3. Contributions Clés

Reformulation du problème : Passage d'une classification statique à une prévision dynamique multi-échelle, permettant de modéliser l'évolution de la solvabilité sur différents horizons futurs.
Architecture Hybride Innovante : Combinaison de DeepFM pour les données tabulaires et d'un module séquentiel avec un mécanisme de double prompt (granularité caractéristique + granularité utilisateur) pour extraire des représentations riches de données financières hétérogènes.
Performance Généralisable : Le modèle atteint des performances de pointe (SOTA) sur des benchmarks publics de classification de séries temporelles (UEA Archive), prouvant que l'architecture capture des dépendances temporelles fondamentales au-delà du domaine financier.
Déploiement Industriel Réussi : Mise en production sur une plateforme financière mondiale, démontrant un impact commercial direct.

4. Résultats Expérimentaux

A. Évaluation Industrielle (Données Propriétaires)

Sur un jeu de données de 7 millions d'utilisateurs, FinLangNet a été comparé à XGBoost (baseline de production), des modèles séquentiels (Transformer, Mamba, TimesNet) et des LLMs (DeepSeek, GPT-4).

Amélioration KS (Kolmogorov-Smirnov) : Gain absolu de 6,3 points de pourcentage (pp) par rapport à XGBoost.
Réduction des créances douteuses : Réduction relative de 9,9 % du taux de défaut.
Performance Multi-échelle : Le modèle surpasse systématiquement les baselines sur les 6 tâches de prédiction temporelle, confirmant sa capacité à modéliser les risques à court et long terme.
Fusion : La combinaison de FinLangNet avec XGBoost (fusion des scores) atteint les meilleurs résultats globaux, bien que FinLangNet seul surpasse XGBoost sur les prévisions à très long terme.

B. Benchmarks Publics (UEA Archive)

Le module SRG (sans le module non-séquentiel) a été testé sur 5 jeux de données de séries temporelles multivariées (médical, reconnaissance de gestes, etc.).

FinLangNet obtient des performances compétitives ou SOTA, surpassant des modèles spécialisés comme TStamp, SVP-T et ShapeNet, tout en restant plus efficace en calcul.

C. Tests A/B en Ligne

Dans un environnement de production réel :

Le système a traité 100 requêtes par seconde (QPS) avec une latence inférieure à 100 ms.
À un seuil d'approbation de 60 %, le taux de défaut est passé de 9,1 % (modèle de référence) à 8,2 %, soit une amélioration relative de 9,9 %.
Le modèle a réussi à rejeter systématiquement des candidats à haut risque que les modèles traditionnels avaient acceptés.

5. Signification et Impact

Ce travail démontre la viabilité de l'intégration de l'apprentissage profond avancé dans les systèmes de gestion des risques financiers industriels, un domaine traditionnellement conservateur.

Surmonter le fossé Statistique vs Deep Learning : FinLangNet prouve que les architectures neuronales peuvent surpasser XGBoost dans le crédit scoring si l'on prend en compte la nature séquentielle et hétérogène des données, sans sacrifier l'efficacité opérationnelle.
Innovation Architecturale : Le mécanisme de "Dual-Granularity Prompting" offre une nouvelle approche pour l'apprentissage de représentations sur des données temporelles complexes et multi-sources, applicable au-delà de la finance.
Impact Économique : La réduction significative du taux de créances douteuses (bad debt) et l'amélioration de la discrimination des risques (KS) traduisent une valeur financière directe pour les institutions financières, tout en respectant les contraintes de conformité (via une stratégie de fusion avec des modèles interprétables).

En résumé, FinLangNet représente une avancée majeure en transformant le scoring de crédit en une tâche de prédiction comportementale dynamique, exploitant pleinement la richesse des données temporelles grâce à une architecture de prompting innovante.