DomAgent: Leveraging Knowledge Graphs and Case-Based Reasoning for Domain-Specific Code Generation

1. Problématique : La génération de code spécifique à un domaine

Bien que les grands modèles de langage (LLM) aient démontré des capacités impressionnantes dans la génération de code généraliste, leur application directe au développement logiciel réel rencontre des limites majeures, en particulier dans des domaines spécifiques (ex: systèmes de contrôle de camions, bases de données industrielles).

Les principaux défis identifiés sont :

• Manque de connaissances de domaine : Les LLMs entraînés sur des corpus publics ignorent souvent les bibliothèques tierces spécifiques, les API internes et les conventions de codage propres à une industrie.
• Adaptation contextuelle insuffisante : Même avec des exemples génériques, les modèles peinent à adapter la logique du code aux flux de travail opérationnels spécifiques (ex: la transformation de signaux CAN dans les camions).
• Coût du fine-tuning : L'ajustement fin (fine-tuning) des modèles avec des données de domaine est coûteux, difficile à maintenir face à l'évolution des bibliothèques, et souvent peu flexible.

L'objectif est donc de créer un système capable de combler ce fossé sans nécessiter un réentraînement massif du modèle de base, en intégrant efficacement des connaissances structurées et des exemples pertinents.

2. Méthodologie : L'architecture DomAgent

Les auteurs proposent DomAgent, un agent de codage autonome qui fusionne deux approches de raisonnement : le raisonnement basé sur les cas (Bottom-up) et le raisonnement basé sur les connaissances (Top-down), orchestré par un module de récupération innovant appelé DomRetriever.

A. Construction de la base de cas (Case Base) guidée par les Graphes de Connaissances (KG)

Pour éviter la création manuelle et coûteuse d'une vaste base de cas, l'équipe utilise une sélection hiérarchique de cas :

1. Ancrage au niveau du package : Le graphe de connaissances (KG) représente les packages et leurs fonctions. Chaque package est un nœud racine.
2. Clustering fonctionnel : Les fonctions d'un package sont regroupées par similarité sémantique (via k-means sur leurs embeddings).
3. Sélection pilotée par la couverture : L'algorithme sélectionne itérativement des exemples de code qui maximisent la couverture des packages et la diversité des clusters fonctionnels.
   • Résultat : Une petite base de cas représentative (ex: 30 % des données) suffit pour couvrir l'essentiel des scénarios, surpassant l'échantillonnage aléatoire.

B. Le module DomRetriever (Récupération Bidirectionnelle)

DomRetriever est le cœur du système. Il ne se contente pas de chercher des textes similaires, mais intègre un processus de raisonnement itératif :

1. Récupération Top-Down (Connaissances) : À partir de la requête, le système identifie les packages et fonctions pertinents via le KG, fournissant une définition structurée des outils disponibles.
2. Récupération Bottom-Up (Cas) : Il récupère des exemples de code pertinents basés sur la similarité sémantique de la tâche.
3. Raffinement par l'Agent (Revue) : Un LLM de raisonnement (agent) examine les connaissances et les cas récupérés. Il utilise des outils (SearchKG, SearchCase) pour :
   • Filtrer les informations sémantiquement proches mais fonctionnellement inutiles.
   • Vérifier la cohérence entre les cas et les packages identifiés.
   • Synthétiser une réponse finale contenant uniquement les connaissances et exemples les plus pertinents.

C. Entraînement de l'Agent

Pour permettre au LLM d'utiliser ces outils de récupération de manière autonome :

• Supervised Fine-Tuning (SFT) : Entraînement sur des exemples "Chain-of-Thought" (CoT) où le modèle apprend à générer des tokens spéciaux (<search_kg>, <search_case>) pour déclencher la recherche.
• Reinforcement Learning (RL) : Utilisation de l'algorithme GRPO pour optimiser le modèle via une fonction de récompense. Le modèle est récompensé s'il sélectionne les connaissances et cas les plus pertinents pour résoudre la tâche, encourageant ainsi une exploration autonome et un filtrage précis.

3. Contributions Clés

1. Premier système agentique intégré : DomAgent est le premier système à combiner de manière unifiée la récupération de connaissances structurées (KG) et le raisonnement basé sur les cas (CBR) pour la génération de code spécifique à un domaine.
2. Méthode de sélection de cas guidée par le KG : Une technique innovante qui utilise la structure du graphe de connaissances pour construire une base de cas compacte mais à haute couverture, réduisant drastiquement le besoin de données d'entraînement.
3. Module DomRetriever dynamique : Un module de récupération bidirectionnel qui permet à n'importe quel LLM de s'adapter dynamiquement à un domaine en intégrant la recherche de connaissances et d'exemples dans son processus de raisonnement.
4. Validation industrielle : Déploiement et validation réussis dans un environnement réel de développement logiciel pour camions (systèmes CAN), démontrant une applicabilité pratique immédiate.

4. Résultats Expérimentaux

Les évaluations ont été menées sur deux jeux de données : le benchmark DS-1000 (sciences des données) et un ensemble de données réel de signaux CAN de camions.

• Sur DS-1000 (Sciences des données) :

  • DomAgent (basé sur des modèles open-source de petite taille comme Qwen2.5-7B ou LLaMA3.1-8B) surpasse les agents de codage existants et se rapproche des performances des modèles propriétaires massifs (GPT-4o).
  • L'utilisation de DomRetriever couplée à un générateur puissant (ex: GPT-4o) permet d'atteindre 58,6 % de précision (pass@1), soit une amélioration de +7,6 % par rapport à GPT-4o seul.

• Sur le domaine des Camions (CAN Signals) :

  • Les modèles de base (Vanilla) ont des performances médiocres (ex: Qwen2.5-7B à ~39 %, GPT-4o à ~71 %).
  • Avec DomAgent, Qwen2.5-7B atteint 96,64 %, dépassant largement son équivalent non assisté et se rapprochant de GPT-4o assisté (98,04 %).
  • Sur des sous-domaines critiques (Productivité, Énergie, Visibilité), le système atteint 100 % de réussite.

• Analyse d'ablation :

  • L'ajout de connaissances (KG) et de raisonnement par cas (CBR) apporte des gains significatifs et additifs.
  • Le mécanisme de filtrage et de raisonnement de DomAgent (par rapport à un pipeline RAG standard) améliore encore les performances, prouvant l'importance de la revue critique des informations récupérées.

5. Signification et Impact

Ce travail démontre qu'il est possible de combler l'écart de performance entre les petits modèles open-source et les modèles propriétaires massifs dans des contextes industriels complexes, sans recourir à un fine-tuning coûteux.

• Efficacité des ressources : En utilisant une base de cas optimisée par le KG et un agent de raisonnement, on obtient des résultats de niveau industriel avec des modèles de 7-8 milliards de paramètres.
• Adaptabilité : La solution est flexible et peut être intégrée à n'importe quel pipeline LLM existant pour l'adapter à de nouveaux domaines (bibliothèques, API internes) simplement en mettant à jour le graphe de connaissances et la base de cas.
• Viabilité industrielle : La réussite sur le développement de logiciels pour camions (tâches critiques de sécurité et de logique métier) valide la robustesse de l'approche pour des déploiements réels, offrant une alternative viable et économique aux solutions propriétaires fermées.

En résumé, DomAgent propose un changement de paradigme : au lieu d'attendre que le modèle "sache" tout, il lui donne les outils pour apprendre et raisonner en temps réel à partir de connaissances structurées et d'expériences passées.