Frugal Knowledge Graph Construction with Local LLMs: A Zero-Shot Pipeline, Self-Consistency and Wisdom of Artificial Crowds

Cette étude présente un pipeline reproductible et économe en ressources pour la construction de graphes de connaissances via des LLMs locaux en mode zéro-shot, démontrant que des mécanismes de diversité comme la self-consistency et le routage de confiance permettent d'améliorer significativement les performances de raisonnement multi-sauts sans entraînement, tout en révélant un paradoxe où un fort consensus peut indiquer une hallucination collective.

L'essentiel

🌍 Le Grand Défi : Construire une Carte du Monde sans Cartographe Pro

Imaginez que vous voulez créer une encyclopédie géante (un "Graphes de Connaissances") qui relie toutes les choses du monde entre elles (qui est marié à qui, quelle ville appartient à quel pays, etc.).

Habituellement, pour faire cela, il faut :

1. Des super-ordinateurs très chers (comme des usines entières).
2. Des années d'entraînement pour apprendre à l'ordinateur.
3. Des millions d'exemples annotés par des humains.

Ce papier dit : "Attendez ! On peut le faire avec un simple ordinateur portable (ou une carte graphique de gamer), sans entraînement, et en quelques heures seulement."

L'auteur, Pierre Jourlin, a construit un système appelé SYNSYNTH qui fonctionne comme une équipe de détectives amateurs (des modèles d'IA locaux) plutôt que comme un seul expert surhumain.

---

🛠️ Comment ça marche ? (L'Analogie de l'Atelier)

Le système est divisé en plusieurs étapes, comme une chaîne de montage dans un atelier :

1. Le Lecteur (Relation Extraction) :

   • Le rôle : Il lit un texte et cherche les liens entre les personnes ou les choses.
   • Le secret : Au lieu de laisser l'IA deviner n'importe quoi, l'auteur lui a donné une liste de règles très précises (un "prompt") et un dictionnaire de synonymes.
   • L'analogie : C'est comme si vous donniez à un stagiaire une liste de 96 mots-clés exacts à utiliser et lui disiez : "Si tu ne trouves pas le mot exact, cherche un synonyme, mais ne me dis jamais 'je ne sais pas'".
   • Résultat : Même si le modèle de base (Gemma-4) était nul tout seul (il ratait 98% des réponses), avec ces règles, il devient un expert, battant des systèmes bien plus gros et entraînés.

2. Le Traducteur (Text-to-Query) :

   • Le rôle : Il transforme une question en langage humain ("Qui a écrit ce livre ?") en une question de base de données ("SELECT...").
   • Résultat : Il est très précis (80% de réussite) et ne fait jamais de fautes de grammaire grâce à des contraintes strictes.

3. Le Détective (Multi-hop Reasoning) :

   • Le rôle : Il répond à des questions complexes qui demandent de relier plusieurs indices.
   • Exemple : "Qui est le père de l'ami de mon voisin ?" -> Il doit d'abord trouver l'ami, puis le père de l'ami.
   • Le problème : Les IA ont tendance à halluciner (inventer des faits).

---

🧠 La Grande Découverte : La "Sagesse de la Foule Artificielle"

C'est la partie la plus fascinante du papier.

L'auteur a remarqué un phénomène étrange, qu'il appelle le paradoxe de l'accord.

• Scénario A (Tous d'accord) : Si vous demandez à 5 versions de la même IA la même question, et qu'elles répondent toutes la même chose, c'est souvent qu'elles se trompent toutes ! Elles sont "confiantes mais fausses". C'est comme une foule qui crie la même erreur par effet de groupe.
• Scénario B (Désaccord) : Si les 5 versions donnent des réponses différentes, c'est souvent là que se cache la bonne réponse, ou du moins une piste sérieuse.

La solution ingénieuse : Le "Cascade de Confiance"
Au lieu de laisser une seule IA répondre, le système fonctionne comme un chef d'orchestre :

1. Il demande à la première IA (Phi-4) de réfléchir 5 fois.
2. Si les 5 réponses sont trop similaires (trop d'accord), le chef dit : "Attention, on est peut-être en train d'halluciner ensemble !".
3. Il envoie alors la question à un deuxième expert (GPT-OSS) pour avoir un avis extérieur.
4. Si les avis divergent, il combine les informations.

Résultat : Cette méthode a permis de passer de 46% de bonnes réponses à 55%, sans utiliser de super-ordinateurs, juste en faisant travailler deux IA différentes ensemble intelligemment.

---

🌱 Pourquoi c'est "Écologique" et "Frugal" ?

Le mot clé est Frugalité.

• Coût : Tout cela tourne sur une seule carte graphique grand public (RTX 3090), celle qu'on trouve dans les PC gamers.
• Temps : Tout le processus prend environ 5 heures.
• Énergie : L'empreinte carbone est de 0,09 kg de CO2. C'est moins que de faire cuire un poulet au four ou de prendre une douche chaude !
• Pas d'entraînement : Contrairement aux géants de l'IA qui brûlent des mégawatts pour "apprendre", ce système utilise des modèles déjà existants, juste bien guidés.

---

📉 Les Limites (Pour être honnête)

Même si c'est impressionnant, ce n'est pas magique :

• Le plafond de verre : Pour les questions très difficiles (qui demandent des faits obscurs que personne ne connaît), même les meilleurs détectives échouent. L'IA ne peut pas inventer des faits qu'elle n'a jamais lus.
• La circularité : Pour certaines parties du test, l'IA a généré ses propres questions. C'est un peu comme se noter soi-même : c'est bien pour voir si on est cohérent, mais pas parfait pour vérifier si on a raison par rapport au monde réel.
• Langue : Tout est en anglais. Le système n'est pas encore prêt pour le français ou l'espagnol.

💡 En Résumé

Ce papier nous dit que la qualité de la question (le "prompt") est plus importante que la puissance de la machine.

Au lieu de construire des usines géantes pour entraîner des IA, on peut utiliser de petits modèles locaux, bien guidés par des règles intelligentes et une méthode de "vote" qui évite les erreurs de groupe. C'est une victoire de l'intelligence sur la brute force, et une preuve que l'IA peut être accessible, rapide et écologique.

Résumé technique

1. Problématique et Contexte

L'article s'attaque à la construction et à l'exploitation de Graphes de Connaissances (KG) en utilisant des Grands Modèles de Langage (LLM) locaux, sans entraînement supervisé (zero-shot) et sur du matériel grand public.

• Défis : Les LLMs souffrent souvent d'hallucinations et leur coût computationnel est élevé. Les approches supervisées classiques (comme DREEAM) nécessitent un entraînement lourd sur plusieurs GPU.
• Objectif : Déterminer dans quelle mesure des LLMs quantifiés, exécutés localement sur du matériel de consommation (une seule carte graphique), peuvent construire un KG de qualité suffisante pour des applications réelles, tout en minimisant l'empreinte carbone.
• Hypothèse centrale : L'ingénierie de prompts et les mécanismes de diversité (stochastique et architecturale) peuvent compenser l'absence d'entraînement et rivaliser avec des systèmes supervisés.

2. Méthodologie : Le Pipeline SYNSYNTH

Les auteurs proposent un pipeline reproductible, SYNSYNTH, orchestré par un script unique et exécuté via Ollama sur une carte NVIDIA RTX 3090. Le système est composé de quatre modules indépendants, chacun utilisant un modèle spécialisé :

1. Extraction de Relations (Relation Extraction) :
   • Modèle : Gemma-4-27B-A4B-it (MoE, 27B paramètres, 4B actifs).
   • Tâche : Extraire des relations documentaires à partir du benchmark DocRED.
   • Contrainte : Utilisation de la décodage contraint (JSON Schema) et d'un prompting avancé.
2. Texte vers Requêtes (Text-to-Query) :
   • Modèle : Qwen3-Deep (8B).
   • Tâche : Générer des requêtes Cypher (pour Neo4j) à partir de questions naturelles.
3. Raisonnement Multi-sauts (Multi-Hop Reasoning) :
   • Modèle : Phi-4 (14B).
   • Tâche : Répondre à des questions complexes nécessitant plusieurs sauts logiques (benchmark HotpotQA).
4. RAG Conversationnel :
   • Modèle : Mistral-Small (24B).
   • Tâche : Évaluation de la fidélité des réponses générées à partir du KG construit.

Évaluation et Données :

• Le pipeline est évalué sur 500 relations (DocRED), 200 requêtes (synthétiques), 500 questions multi-sauts (HotpotQA) et 50 cas RAG.
• Les métriques incluent F1, Exact Match (EM), et les scores RAGAS (fidélité, pertinence, précision du contexte).
• Les intervalles de confiance à 95 % sont calculés par bootstrap.

3. Contributions Clés

1. Cadre d'évaluation reproductible : Intégration de benchmarks externes (DocRED, HotpotQA) et de données synthétiques dans un pipeline d'inférence locale entièrement automatisé.
2. Impact de l'ingénierie de prompts : Démonstration que la qualité du prompt (synonymes, contraintes sémantiques) surpasse le choix du modèle brut. Gemma-4, qui obtient un F1 de 0,04 en extraction brute, atteint 0,70 avec le pipeline optimisé.
3. Analyse de la diversité pour le raisonnement :
   • Mise en évidence d'un paradoxe de l'accord : une forte convergence entre plusieurs échantillons d'un même modèle signale souvent une hallucination collective plutôt qu'une réponse correcte.
   • Comparaison entre diversité stochastique (échantillonnage à température > 0) et diversité architecturale (différents modèles).
4. Mécanisme de Cascade par Confiance (Confidence-Routing) : Proposition d'une stratégie hybride où les questions pour lesquelles le modèle principal (Phi-4) montre un faible accord interne sont redirigées vers un second modèle (GPT-OSS), exploitant la complémentarité des architectures.
5. Frugalité : Réalisation de l'ensemble du processus en ~5 heures sur une seule RTX 3090, avec une empreinte carbone estimée à 0,09 kg CO2eq.

4. Résultats Principaux

A. Extraction de Relations

• Performance : F1 de 0,70 ± 0,04 en zero-shot local.
• Comparaison : Supérieur aux résultats zero-shot de GPT-3 (0,30) et ChatGPT (0,25), et proche des systèmes supervisés (DREEAM : 0,80).
• Levier de gain : L'amélioration massive (+66 points) provient de l'ajout d'un dictionnaire de synonymes et d'un prompt structuré, et non du décodage contraint seul.

B. Raisonnement Multi-sauts (HotpotQA)

• Base (Zero-shot) : EM de 0,46 avec Phi-4.
• Auto-cohérence (Self-Consistency) : Augmente l'EM à 0,48 (k=3).
• Cascade de confiance (V5b) : En redirigeant 45,4 % des questions (celles où l'accord est faible) vers un second modèle, l'EM atteint 0,55 ± 0,04. C'est le meilleur résultat obtenu, surpassant le vote majoritaire de 8 modèles et le zero-shot de +9 points.
• Limite du modèle : Sur 181 questions impossibles à résoudre à température nulle, l'oracle (au moins un modèle correct parmi 3 architectures x 5 échantillons) atteint un EM de 0,46, montrant un potentiel inexploité par les méthodes d'agrégation simples.

C. Analyse du Paradoxe de l'Accord

L'étude révèle que lorsque 5 échantillons d'un même modèle s'accordent fortement (≥ 0,8), la précision chute (EM = 0,21), suggérant une hallucination collective. La zone d'accord intermédiaire ([0,4 ; 0,8[) est la plus productive (Oracle = 0,46), car elle indique une hésitation où la diversité stochastique apporte de l'information utile.

D. Coût et Frugalité

• Temps d'exécution : ~4h30 pour le pipeline complet.
• Énergie : Estimation à ~0,09 kg CO2eq (uniquement GPU), soit une fraction du coût des systèmes cloud ou multi-GPU supervisés.

5. Signification et Conclusion

Cet article démontre qu'il est possible de construire des systèmes de connaissances robustes et efficaces sans entraînement coûteux, en tirant parti de l'inférence locale et de stratégies d'agrégation intelligentes.

• Limites identifiées : Le plafond de verre du raisonnement multi-sauts est principalement dû à un manque de connaissances factuelles (51,6 % des échecs sur des faits obscurs) plutôt qu'à une incapacité de raisonnement. De plus, l'ingénierie de prompts optimisée pour Gemma-4 ne se transfère pas automatiquement à d'autres modèles.
• Perspectives : L'approche ouvre la voie à des applications verticales (médical, juridique) et à l'intégration de mécanismes de récupération (RAG) pour combler les lacunes de connaissances des modèles.

En résumé, l'article valide l'hypothèse de l'IA frugale : en combinant des modèles quantifiés locaux, une ingénierie de prompts rigoureuse et des mécanismes de diversité (self-consistency et cascade), on peut atteindre des performances compétitives avec une fraction du coût énergétique et financier des approches traditionnelles.