Towards automated data analysis: A guided framework for LLM-based risk estimation

Cet article propose un cadre guidé par l'humain intégrant des modèles de langage (LLM) pour automatiser l'estimation des risques des jeux de données, en combinant l'analyse sémantique et structurelle par l'IA avec une supervision humaine afin de pallier les limites des méthodes manuelles et les hallucinations des systèmes autonomes.

L'essentiel

🕵️‍♂️ Le Grand Détective et son Assistant Humain

Imaginez que vous avez un énorme coffre-fort rempli de millions de documents (des données sur la consommation d'électricité). Votre but est de trouver les quelques voleurs qui se cachent parmi des millions de clients honnêtes. C'est comme chercher une aiguille dans une botte de foin, mais l'aiguille change de forme et la botte de foin est très sale et mal rangée.

Traditionnellement, il faudrait envoyer une armée d'humains pour lire chaque document. C'est long, cher et épuisant.

Aujourd'hui, nous avons un super-ordinateur intelligent (une "Intelligence Artificielle" ou LLM) capable de lire très vite. Mais il y a un problème : ce super-ordinateur est un peu comme un étudiant brillant mais très bavard. Parfois, il invente des faits (ce qu'on appelle des "hallucinations") ou comprend mal les instructions. Si on le laisse seul gérer le coffre-fort, il pourrait vous dire que tout le monde est un voleur, ou pire, qu'il n'y a aucun voleur alors qu'il y en a.

🛠️ La Solution : Le Cadre Guidé (Le "Human-in-the-Loop")

L'auteur de ce papier, Panteleimon Rodis, propose une solution intelligente : ne pas laisser l'ordinateur travailler seul, mais le faire travailler sous la supervision d'un humain.

Imaginez que l'IA est un apprenti cuisinier très talentueux, et vous êtes le chef étoilé.

1. L'apprenti prépare les ingrédients (analyse les données).
2. Il propose une recette (choisit une méthode d'analyse).
3. Il coupe les légumes (écrit le code informatique).
4. Il sert le plat (présente les résultats).

Mais à chaque étape, le chef (l'humain) goûte, vérifie et corrige si nécessaire. Si l'apprenti coupe un doigt (fait une erreur), le chef intervient avant que le plat ne soit gâché.

🔄 Les 4 Étapes de la Recette

Le papier décrit un processus en quatre étapes, comme une chaîne de montage :

1. L'Exploration (Le Chef d'œuvre) :
   L'IA regarde les données brutes (souvent mal rangées, avec des noms bizarres) et dit : "Ah, je vois que cette colonne 'ID_Client' est liée à cette autre colonne 'Consommation'." Elle transforme le chaos en une carte claire.

   • Analogie : C'est comme si l'IA triait une boîte de Lego éparpillée et vous disait : "Voici les roues, voici les briques rouges, et voici comment on pourrait construire une voiture."

2. La Planification (Le Choix des Outils) :
   L'IA propose des méthodes pour trouver les voleurs. Elle dit : "Pour trouver les anomalies, on devrait utiliser une technique appelée 'Clustering' (regroupement) qui ressemble à un tri par couleur."

   • Analogie : Le chef demande à l'apprenti : "Quel couteau utilisons-nous pour trancher ce fromage ?" L'apprenti choisit le bon outil parmi des milliers de possibilités.

3. L'Exécution (La Cuisine) :
   L'IA écrit le code informatique (les instructions) pour exécuter ce tri. C'est ici que l'humain intervient souvent : si le code est trop lent ou consomme trop de mémoire, le chef dit : "Non, optimise ça, utilise la carte graphique !".

   • Analogie : L'apprenti écrit la recette sur un papier. Le chef vérifie : "Tu as mis 10 kg de sel au lieu de 10 grammes ? Corrige ça !"

4. L'Analyse Finale (Le Dégustation) :
   Une fois le tri fait, l'IA regarde les résultats et dit : "Regardez, ce groupe de clients consomme bizarrement. Ils sont probablement des voleurs." Elle produit un rapport final.

   • Analogie : L'apprenti présente le plat fini. Le chef goûte et dit : "Parfait, voici la liste des clients à surveiller."

⚡ L'Expérience Réelle : Le Vol d'Électricité en Grèce

Pour priquer que ça marche, l'auteur a testé ce système sur un vrai problème en Grèce : le vol d'électricité (quand quelqu'un se branche illégalement au réseau).

• Le défi : Des millions de factures, des données manquantes, des clients qui changent souvent d'adresse. C'est un casse-tête.
• Le résultat : L'IA, guidée par l'humain, a réussi à isoler un petit groupe de clients suspects.
• La victoire : Sur les vrais voleurs connus, 87,6 % ont été identifiés par le système comme "à haut risque". C'est énorme !

🎯 Le Secret : Le Vote de Consensus

Comment l'IA a-t-elle décidé qui est un voleur ? Elle a utilisé une astuce géniale appelée le vote de consensus.
Imaginez que vous avez 4 détectives différents.

• Le détective A dit : "Ce client est suspect."
• Le détective B dit : "Non, il est innocent."
• Le détective C dit : "Suspect !"
• Le détective D dit : "Suspect !"

Si 3 détectives sur 4 sont d'accord, on a une forte probabilité que ce soit vrai. L'IA a combiné les avis de plusieurs méthodes différentes pour éviter les erreurs.

💡 En Résumé

Ce papier nous dit : "L'IA est puissante, mais elle n'est pas encore parfaite."

Au lieu de lui demander de tout faire toute seule (ce qui est dangereux), nous devons créer un partenariat. L'IA fait le gros du travail (lire, calculer, coder), et l'humain reste le capitaine du navire, vérifiant la route et corrigeant le tir.

C'est la clé pour utiliser l'intelligence artificielle dans des domaines sérieux comme la sécurité, la finance ou la santé, sans avoir peur qu'elle "rêve" et prenne de mauvaises décisions.

Résumé technique

1. Problématique

L'intégration croissante des Grands Modèles de Langage (LLM) dans les pipelines de prise de décision critique soulève un besoin urgent d'analyse de données automatisée et robuste. Cependant, les approches actuelles font face à deux limites majeures :

• Les audits manuels sont lents, complexes et ne peuvent pas suivre l'explosion du volume de données.
• L'automatisation pure par IA souffre de problèmes de fiabilité, notamment les hallucinations (génération de contenu inexact) et les problèmes d'alignement (le modèle ne fait pas exactement ce qui est demandé).

Le défi consiste donc à exploiter la capacité de raisonnement sémantique des LLM tout en garantissant la sécurité et la précision nécessaires aux scénarios d'analyse de données sensibles, sans pour autant recourir à une automatisation totalement autonome qui serait trop risquée.

2. Méthodologie : Un cadre guidé « Human-in-the-Loop »

L'article propose un cadre de travail guidé en quatre étapes séquentielles. L'approche repose sur une architecture Human-in-the-Loop (HITL), où un superviseur humain valide chaque étape avant de passer à la suivante, évitant ainsi la contamination du contexte par des données intermédiaires erronées.

Chaque étape initie une nouvelle session avec le LLM pour isoler les contextes :

1. Identification des entités et des relations :

   • Le LLM analyse la description du jeu de données et les métadonnées.
   • Il identifie les entités, les relations (clés étrangères implicites) et suggère des techniques de regroupement (clustering).
   • Innovation : Utilisation du Grounding des éléments du schéma (mapping des symboles abstraits vers des concepts réels) et de l'inférence logique pour gérer les noms de colonnes non standards ou ambiguës.

2. Génération de code d'implémentation :

   • Sur la base des suggestions de clustering et des rapports de données, le LLM génère des scripts (ex: Python) pour implémenter les algorithmes.
   • Le superviseur humain peut intervenir pour optimiser les paramètres ou corriger le code (ex: gestion de la mémoire, utilisation du GPU).

3. Exécution et stockage :

   • Le code généré est exécuté (par l'humain ou un agent).
   • Les résultats du clustering sont stockés dans des fichiers structurés.

4. Analyse des résultats et rapport final :

   • Le LLM analyse les fichiers de sortie, les statistiques de distribution et les codes sources.
   • Il génère un rapport conclusif et un système de notation (rating) pour les entités auditées.
   • Si les données sont trop volumineuses, le LLM peut générer un script supplémentaire pour synthétiser les résultats avant le rapport final.

3. Contributions Clés

• Paradigme d'analyse guidée : Passage d'un assistant de chat à un système capable de produire des rapports d'analyse de données complets, tout en maintenant un contrôle humain strict.
• Robustesse face aux schémas complexes : Démonstration de la capacité des LLM à interpréter des bases de données avec des conventions de nommage non standard et des contraintes explicites absentes, grâce à l'inférence sémantique et logique.
• Sélection d'algorithmes par LLM : Utilisation du LLM comme moteur de recommandation avancé pour sélectionner et adapter des algorithmes de clustering existants (K-Means, K-Prototypes, etc.) plutôt que d'inventer de nouveaux algorithmes.
• Mécanisme de consensus : Développement d'une méthode de fusion de résultats basée sur un vote de consensus pondéré pour agréger les prédictions de plusieurs modèles de clustering.

4. Preuve de concept et Résultats

L'approche a été validée sur un cas réel : l'estimation des risques de pertes non techniques (vol d'électricité) dans le réseau électrique grec, en utilisant un jeu de données fourni par le HEDNO (2023 Datathon).

• Données : 1,23 million de comptes clients, 9,2 millions de mesures de consommation, avec des données très irrégulières et clairsemées (sparsity).
• Modèle utilisé : Gemini 3.0 Pro.
• Processus :
  • Le LLM a identifié 4 techniques de clustering pertinentes : Géospatiale, Séries temporelles, Mixte (types de données) et Comportementale.
  • Après itérations pour optimiser l'utilisation du GPU et la gestion de la mémoire, les scripts ont été exécutés.
  • Un mécanisme de vote de consensus a été appliqué : une installation est marquée « à haut risque » si elle se trouve dans le top 20% des clusters à risque pour un modèle donné. Le score final combine le nombre de votes (consensus) et l'intensité du risque moyen.

Résultats chiffrés :

• Le système a identifié 38,79 % des échantillons comme étant à risque (classes 1 à 4).
• Ces classes à risque contiennent 87,66 % des cas de vol d'électricité vérifiés (les « étiquettes » positives).
• Les 61,21 % restants (classe 0) sont classés comme à faible risque ou sans risque, ce qui correspond à la réalité du terrain où la majorité des consommateurs sont honnêtes.
• Le système a réussi à traiter des données hétérogènes et clairsemées, là où les méthodes traditionnelles peinent souvent.

5. Signification et Limites

Signification :
Ce travail démontre qu'il est possible de créer un pipeline d'analyse de données semi-automatisé hautement efficace. En combinant la puissance sémantique des LLM avec la supervision humaine, on peut surmonter les limites de l'automatisation pure (hallucinations) tout en réduisant considérablement le temps d'audit manuel. Cela ouvre la voie à des systèmes d'agents autonomes plus sûrs pour l'avenir.

Limites et Défis :

• Maturité technologique : Les LLM actuels ne sont pas encore totalement fiables pour une autonomie complète en raison des hallucinations et des problèmes d'alignement.
• Vie privée : L'utilisation de LLM en tant que service (SaaS) pour des données sensibles (comme les données de consommation énergétique) pose des questions de confidentialité. Une infrastructure locale (on-premise) est souvent nécessaire mais coûteuse.
• Intervention humaine : Le cadre nécessite toujours un superviseur humain pour valider les étapes intermédiaires et corriger les erreurs de génération de code, ce qui limite le degré d'automatisation totale.

En conclusion, l'article propose une voie pragmatique et robuste pour l'avenir de l'analyse de données assistée par IA, où l'humain reste le garant de l'intégrité du processus.