DomAgent: Leveraging Knowledge Graphs and Case-Based Reasoning for Domain-Specific Code Generation

1. Il Problema

I Large Language Models (LLM) hanno dimostrato capacità straordinarie nella generazione di codice generico. Tuttavia, il loro utilizzo diretto nello sviluppo software reale, specialmente in contesti dominio-specifici (es. sistemi di controllo per camion, data science avanzata), fallisce frequentemente. Le ragioni principali sono:

• Mancanza di conoscenza di dominio: I modelli generici sono addestrati su corpora pubblici e spesso non conoscono librerie di terze parti proprietarie o specifiche del settore (es. API per segnali CAN nei camion).
• Adattamento contestuale insufficiente: Anche se conoscono la sintassi, faticano ad adattare il codice ai flussi di lavoro operativi specifici e alle logiche di trasformazione dei dati richieste dal sistema target.
• Limiti del Fine-Tuning: L'addestramento su dati specifici (fine-tuning) è costoso, difficile da mantenere con librerie in continua evoluzione e richiede grandi risorse computazionali.
• Limiti del RAG standard: I sistemi Retrieval-Augmented Generation (RAG) esistenti si basano spesso su similarità testuale pura, che può recuperare informazioni irrilevanti o non cogliere le dipendenze strutturali tra pacchetti e funzioni.

2. Metodologia: DomAgent

Il paper propone DomAgent, un agente autonomo per la generazione di codice che colma il divario tra conoscenza strutturata ed esempi pratici. L'architettura integra due approcci di recupero: Top-Down (basato sulla conoscenza) e Bottom-Up (basato sui casi).

Componenti Chiave:

1. DomRetriever (Modulo di Recupero Ibrido):

   • Recupero Top-Down (Knowledge Graph - KG): Utilizza un Grafo della Conoscenza (KG) che rappresenta pacchetti, funzioni e le loro relazioni. Dato un task, il sistema identifica i pacchetti rilevanti e recupera la documentazione strutturata (nodi del KG) collegata alle funzioni specifiche. Questo supera i limiti della similarità testuale pura.
   • Recupero Bottom-Up (Case-Based Reasoning - CBR): Recupera esempi di codice rilevanti da un "Case Base".
   • Fusione Dinamica: Il sistema non recupera semplicemente i risultati, ma utilizza un LLM per ragionare iterativamente. L'agente confronta la conoscenza recuperata dal KG con i casi di codice, filtra le informazioni irrilevanti e sintetizza una risposta finale che combina la logica concettuale (dal KG) e gli esempi pratici (dal CBR).

2. Costruzione della Case Base Guidata dal KG:

   • Per evitare la creazione manuale e costosa di grandi database di casi, il paper introduce un metodo di Selezione Gerarchica dei Casi.
   • Sfrutta la struttura del KG per raggruppare le funzioni per pacchetto e clusterizzare l'uso funzionale.
   • Seleziona un sottoinsieme rappresentativo di casi massimizzando la copertura dei pacchetti e la diversità funzionale all'interno di ciascun pacchetto, garantendo che anche con pochi esempi (es. 30% del dataset) si copra la maggior parte dei casi d'uso.

3. Addestramento dell'Agente:

   • Supervised Fine-Tuning (SFT): Addestra il modello a generare token speciali (<search_kg>, <search_case>) per invocare gli strumenti di recupero durante il ragionamento.
   • Reinforcement Learning (RL): Utilizza un modello di ricompensa per guidare l'agente a valutare criticamente le informazioni recuperate, filtrando ciò che è irrilevante e ottimizzando la selezione dei casi e della conoscenza.

3. Contributi Principali

• DomAgent: Il primo sistema agente che integra sistematicamente la conoscenza strutturata (KG, top-down) con il ragionamento basato su casi (CBR, bottom-up) per la generazione di codice specifico di dominio.
• Metodo di Selezione dei Casi Guidato dal KG: Una tecnica innovativa che utilizza le relazioni strutturali del grafo della conoscenza per costruire una base di casi compatta ma ad alta copertura, riducendo drasticamente lo sforzo manuale.
• DomRetriever: Un modulo di recupero unificato che permette a qualsiasi LLM (anche modelli open-source piccoli) di accedere dinamicamente a conoscenze di dominio e casi rilevanti, agendo come un "adattatore" flessibile.
• Validazione Industriale: Dimostrazione dell'efficacia non solo su benchmark accademici, ma in scenari reali di sviluppo software per camion (lettura/scrittura segnali CAN).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due dataset: DS-1000 (Data Science) e un dataset reale di segnali CAN per camion.

• Dataset DS-1000:
  • DomAgent, utilizzando modelli open-source di piccole dimensioni (Qwen2.5-7B e LLaMA3.1-8B), ha superato tutti gli agenti di codifica precedenti e si è avvicinato alle prestazioni di modelli proprietari molto più grandi (come GPT-4o).
  • La combinazione di un piccolo modello di recupero (DomRetriever) con un grande modello di generazione (es. GPT-4o) ha raggiunto il 58.6% di accuratezza (pass@1), superando GPT-4o da solo (+7.6%).
• Dataset Truck CAN Signal:
  • In questo dominio altamente specializzato, GPT-4o "vanilla" ha ottenuto solo il 71.22%.
  • Con l'aggiunta di DomRetriever, GPT-4o è salito al 98.04%.
  • Il modello open-source Qwen2.5-7B potenziato da DomAgent ha raggiunto il 96.64%, quasi pari a GPT-4o potenziato, dimostrando che l'architettura può colmare il divario prestazionale tra modelli piccoli e grandi in contesti industriali complessi.
• Ablation Study:
  • L'integrazione di KG e CBR insieme ha mostrato miglioramenti additivi.
  • La selezione dei casi guidata dal KG ha permesso di ottenere prestazioni quasi massime utilizzando solo il 30% dei casi disponibili, superando di gran lunga il campionamento casuale.

5. Significato e Impatto

Il lavoro di DomAgent è significativo perché:

1. Democratizza l'IA nel settore industriale: Permette di utilizzare modelli open-source più piccoli ed economici per compiti critici di dominio, riducendo la dipendenza da costosi modelli proprietari o da costosi processi di fine-tuning.
2. Affronta il problema della "Coda Lunga" della conoscenza: Risolve il problema della mancanza di dati di addestramento per librerie specifiche o documenti interni aziendali, integrandoli dinamicamente tramite KG.
3. Validazione Pratica: Dimostra che un approccio ibrido (ragionamento strutturato + esempi) è superiore ai metodi RAG tradizionali per la generazione di codice, rendendo la soluzione pronta per il deployment in ambienti reali (es. produzione di camion).
4. Efficienza delle Risorse: Mostra come una selezione intelligente dei dati (caso e conoscenza) possa massimizzare le prestazioni con un minimo set di esempi, riducendo costi di calcolo e archiviazione.

In sintesi, DomAgent rappresenta un passo avanti verso agenti di codifica autonomi capaci di operare efficacemente in ambienti industriali complessi, combinando la potenza dei LLM con la precisione della conoscenza strutturata di dominio.