Representing data in words: A context engineering approach

1. Problématique

Bien que les Grands Modèles de Langage (LLM) démontrent des capacités impressionnantes en raisonnement et en mathématiques, ils éprouvent des difficultés à représenter fidèlement des données numériques sous forme de texte. Souvent, les LLM traitent les nombres comme des jetons textuels plutôt que comme des informations quantitatives, ce qui entraîne des erreurs d'interprétation, des hallucinations et une incapacité à raisonner correctement sur les valeurs chiffrées.

Le défi consiste à transformer des données brutes en récits naturels et stylistiquement engageants (« wordalisations ») qui soient à la fois précis sur le plan factuel et faciles à digérer pour un public non technique, sans recourir à un fine-tuning coûteux des modèles.

2. Méthodologie : L'approche « Wordalisation »

Les auteurs proposent une méthodologie basée sur l'ingénierie de contexte (context engineering) plutôt que sur l'entraînement de modèles. Le processus se déroule en trois étapes principales, illustrées par un prototype d'application (disponible sur Streamlit) :

A. Le flux de travail (Workflow)

1. Modèle Statistique : Les données brutes sont d'abord converties en statistiques (ex: scores Z).
2. Modèle Normatif : Ces scores statistiques sont transformés en descriptions textuelles synthétiques mais factuelles (ex: « excellent », « en dessous de la moyenne ») via des seuils prédéfinis. Ce texte est généré sans LLM, par des modèles de template.
3. Génération de la Wordalisation : Un LLM utilise ce texte normatif, combiné à un prompt structuré, pour générer le récit final.

B. Les quatre étapes de construction du Prompt

L'article détaille une méthode en quatre étapes pour structurer le prompt du LLM :

1. Tell it who it is (Dis-lui qui il est) : Définition du rôle du système (ex: « Vous êtes un recruteur de football basé au Royaume-Uni »). Cela fixe le ton et l'expertise attendue.
2. Tell it what it knows (Dis-lui ce qu'il sait) : Fourniture de paires Question-Réponse (Q&A) qui servent de connaissances de base. Ces paires expliquent les métriques à un non-expert et définissent les limites de l'interprétation (ex: définition d'un « avant » en football ou des traits de personnalité Big Five).
3. Tell it what data to use (Dis-lui quelles données utiliser) : Conversion des données statistiques (scores Z) en un texte descriptif normatif. Les scores Z sont catégorisés selon des seuils (ex: > 1.5 = « exceptionnel », entre -0.5 et 0.5 = « moyen »). Ce texte sert de vérité terrain pour le LLM.
4. Tell it how to answer (Dis-lui comment répondre) : Instructions sur la structure de la réponse (ex: « 4 phrases concises ») et utilisation du few-shot prompting (exemples de réponses attendues) pour guider le style, le ton et la mise en forme.

3. Contributions Clés

• Concept de « Wordalisation » : Création d'un terme et d'une méthode pour désigner la génération de récits naturels à partir de données, par analogie avec la visualisation de données (transformer des chiffres en graphiques, ici en mots).
• Approche sans fine-tuning : Démonstration qu'une ingénierie de contexte rigoureuse (prompt engineering) permet d'obtenir des résultats supérieurs à l'entraînement de modèles pour des tâches spécifiques de données-to-texte.
• Évaluation Holistique : Reconnaissance de l'absence de benchmarks standardisés pour cette tâche spécifique. Les auteurs proposent une évaluation mixte combinant :
  • LLM-as-a-judge : Pour vérifier la cohérence logique et l'absence d'hallucinations.
  • Human-as-a-judge : Pour évaluer l'engagement, l'utilité et la fidélité.
  • Documentation (Model Cards) : Adoption d'une approche de transparence documentant les modèles statistiques et normatifs sous-jacents, plutôt que de se fier uniquement aux métriques de sortie.

4. Résultats

L'étude a été appliquée à trois domaines : le recrutement de joueurs de football, les tests de personnalité et les enquêtes internationales (World Values Survey).

• Évaluation par LLM (LLM-as-a-judge) :

  • Les textes générés par la méthode complète (Wordalisation) ont montré une précision de 82% (18% d'erreurs), comparé à 50% pour les descriptions purement statistiques et 91% d'erreurs pour le groupe témoin (sans données).
  • La reconstruction des descriptions statistiques à partir des wordalisations a confirmé que le modèle normatif améliore significativement la fidélité aux données (p < 0.001).
  • Note : La reconstruction est plus difficile pour les scénarios complexes (football) que pour les scénarios plus simples (tests de personnalité), car les phrases complexes condensent plusieurs observations.

• Évaluation Humaine :

  • Les wordalisations ont surpassé les descriptions purement statistiques sur les critères d'engagement et d'utilité, tout en maintenant un niveau de fidélité équivalent.
  • Les participants ont préféré les wordalisations car elles sont moins formulaires et plus naturelles, tout en restant fidèles aux données.
  • L'évaluation humaine a révélé que les erreurs perçues par les LLM juges étaient souvent dues à une variation linguistique naturelle plutôt qu'à des inexactitudes factuelles.

5. Signification et Perspectives

• Changement de paradigme : L'article suggère que l'ère du simple « benchmarking » par des scores de précision est dépassée pour les tâches de génération de texte à partir de données. L'accent doit être mis sur l'ingénierie de contexte et la documentation transparente (via des Model Cards) pour gérer les risques et les limites.
• Accessibilité des données : La méthode rend les données complexes accessibles à un large public, transformant des tableaux de scores Z en histoires compréhensibles.
• Limitations actuelles : La méthode dépend actuellement uniquement de données numériques brutes et ne gère pas encore les variables catégorielles ou les séries temporelles de manière native. Elle est actuellement destinée à un usage éducatif et non professionnel critique (ex: recrutement final).
• Avenir : Les auteurs prévoient d'intégrer des modèles statistiques plus avancés (régression, PCA) et de standardiser les pratiques de documentation pour l'ingénierie de prompt, s'inspirant des normes du journalisme de données.

En conclusion, ce travail démontre que l'ingénierie de contexte, couplée à une modélisation statistique intermédiaire, permet de surmonter les limitations des LLM dans l'interprétation des nombres, produisant des textes à la fois précis, engageants et transparents.