Riepilogo Tecnico: ADVENT – Invenzione Automatica di Predicati Guidata da LLM per l'ILP

1. Definizione del Problema

L'Inductive Logic Programming (ILP) è un paradigma di apprendimento automatico capace di apprendere regole relazionali interpretabili dall'uomo. Tuttavia, le sue prestazioni sono fortemente vincolate dalla qualità della Background Knowledge (BK - Conoscenza di Base) predefinita. Senza predicati adeguati, i sistemi ILP non riescono a scoprire regole che spieghino efficacemente i concetti target. L'Invenzione di Predicati (Predicate Invention - PI) affronta questo problema introducendo predicati ausiliari per estendere lo spazio delle ipotesi.

Gli approcci esistenti alla PI affrontano due limitazioni fondamentali:

1. Esplosione dello Spazio di Ricerca: Senza una guida umana, la PI degenera in un'enumerazione sintattica esaustiva, rendendo difficile la scoperta automatica di pattern utili.
2. Mancanza di Semantica: I metodi tradizionali operano tramite manipolazione sintattica di simboli, producendo predicati non nominati (es. inv1, inv2) privi di comprensione concettuale. Ciò ostacola la valutazione della rilevanza per nuovi compiti e impedisce un efficace riutilizzo della conoscenza tra i task o l'apprendimento continuo (lifelong learning).

Sebbene i Large Language Models (LLM) offrano un potenziale per il riconoscimento di pattern impliciti e la generazione di definizioni significative, fare affidamento esclusivamente sul ragionamento degli LLM introduce problemi di affidabilità, inclusi errori sintattici e overfitting su esempi specifici.

2. Metodologia: ADVENT

Gli autori propongono ADVENT, un framework neuro-simbolico che integra il ragionamento abduttivo degli LLM con la verifica deduttiva di Prolog all'interno di una pipeline ILP. Il sistema opera su un ciclo di ragionamento triadico (Abduzione, Deduzione, Induzione) attraverso quattro fasi:

A. Controllo della Rappresentazione (Representation Check - RC)

Prima di tentare l'invenzione, un'euristica leggera determina se l'attuale BK sia sufficiente.

• Meccanismo: Il sistema campiona il 10% degli esempi e utilizza l'1% come "semi" (seeds) per una ricerca ristretta a livello di variabile.
• Logica: Se l'apprendista ILP riesce a produrre solo clausole unitarie ground (che coprono solo il seme) senza trovare generalizzazioni a livello di variabile, il sistema attiva il ciclo di invenzione. Se l'RC passa, il sistema salta l'invenzione e procede alla induzione delle regole.

B. Ciclo LLM-PI (Invenzione Iterativa)

Quando l'RC fallisce, inizia un ciclo iterativo:

1. Generazione Abduttiva (LLM): L'LLM riceve lo schema della BK, un campione di esempi positivi/negativi e un Knowledge Pool (una lista di predicati precedentemente inventati con nomi e definizioni). Gli viene chiesto di identificare pattern impliciti e proporre candidati predicati con definizioni Prolog, arità e modalità d'uso.
2. Verifica Deduttiva (Prolog): I predicati proposti sono sottoposti a due livelli di validazione:
   • Controllo Sintattico/Strutturale: Prolog tenta di consultare la definizione per intercettare errori di runtime o predicati non definiti.
   • Controllo Comportamentale: Il predicato viene eseguito su un sottoinsieme di esempi. I risultati sono partizionati per classe (positivi vs negativi) e presentati in modo contrastivo all'LLM.
3. Raffinamento: Sulla base dei risultati concreti dell'esecuzione (es. falsi positivi/negativi), l'LLM raffina la definizione del predicato. Questo ciclo continua fino al raggiungimento di un limite massimo di iterazioni o finché non viene trovato un predicato valido.

C. Induzione di Regole ILP

Una volta che l'RC conferma che esistono pattern generalizzabili (inizialmente o post-invenzione), l'apprendista ILP (Aleph) esegue l'induzione delle regole.

• I predicati ausiliari inventati vengono iniettati nella BK.
• Il sistema ILP esegue una ricerca a livello costante, ancorando le variabili a valori specifici per catturare distinzioni a livello di istanza, completando le invenzioni di alto livello dell'LLM.

D. Knowledge Pool e Riutilizzo Cross-Task

I predicati inventati con successo e le regole apprese si accumulano in un Knowledge Pool. Per i task successivi, questo pool funge da riferimento, permettendo all'LLM di valutare la rilevanza e comporre nuovi predicati partendo da invenzioni precedenti, supportando l'apprendimento cumulativo.

3. Contributi Chiave

1. Framework ADVENT: Un nuovo meccanismo che accoppia la generazione abduttiva degli LLM con la verifica deduttiva di Prolog per automatizzare l'invenzione di predicati in ILP.
2. Integrazione della Verifica Formale: L'integrazione di un verificatore basato su Prolog che fornisce risultati deduttivi concreti per guidare il raffinamento dell'LLM, affrontando il gap di affidabilità nella generazione logica degli LLM.
3. Riutilizzo Cross-Task Interpretabile: Dimostrazione del fatto che gli LLM possono interpretare le definizioni dei predicati inventati per valutarne la rilevanza, consentendo il riutilizzo selettivo e la composizione della conoscenza tra i task mantenendo l'interpretabilità umana.

4. Risultati Sperimentali

Il framework è stato valutato su nove concetti di mani di poker (mappati sul problema Michalski Train per oscurare la conoscenza del dominio) utilizzando sette diversi LLM.

• Baseline ILP: L'ILP da solo è fallito completamente (0/9) in un contesto relazionale privo di posizione e ha ottenuto solo 6/9 in un contesto dipendente dalla posizione.
• LLM-Driven PI (Senza Verifica): Ha raggiunto un tasso di successo medio del 58% tra i modelli, dimostrando che gli LLM possono identificare pattern impliciti (es. disuguaglianza di variabili, sequenze aritmetiche) inaccessibili a una ricerca basata sulla sintassi.
• Verifica Formale (ADVENT): Ha elevato il tasso di successo medio all'80%. Gli intervalli di confidenza non si sovrapponevano alla condizione senza verifica, confermando che la verifica di Prolog guida efficacemente il raffinamento.
• Confronto con l'Auto-Critica: La verifica formale ha superato l'auto-critica dell'LLM in 5 modelli su 7. L'auto-critica era meno affidabile, portando talvolta all'overfitting su caratteristiche superficiali.
• Impatto del Knowledge Pool: L'utilizzo del knowledge pool ha aumentato i tassi di successo fino a +31 punti percentuali per i concetti compositivi (es. Straight Flush, Royal Flush). Tuttavia, per compiti più semplici (es. Flush), il pool ha introdotto una complessità non necessaria, causando un leggero calo delle prestazioni, indicando un compromesso tra riutilizzo e interferenza.

5. Significato e Rivendicazioni

Il paper sostiene che ADVENT offre una direzione promettente per automatizzare l'invenzione di predicati e abilitare il riutilizzo della conoscenza cross-task nell'ILP.

• Colmare il Divario: Colma con successo il divario tra il rigore simbolico dell'ILP e la comprensione semantica degli LLM, permettendo al sistema di inventare predicati con nomi significativi (es. has_duplicate_rank) piuttosto che simboli opachi.
• Affidabilità: Lo studio valida il fatto che ancorare gli output degli LLM all'esecuzione deduttiva formale è superiore all'auto-valutazione per raffinare i programmi logici.
• Limitazioni: Gli autori riconoscono con modestia le attuali limitazioni, tra cui la dipendenza dalla finestra di contesto dell'LLM per gestire il knowledge pool (che può diluire l'attenzione man mano che il pool cresce) e il fatto che la valutazione sia limitata a un dominio trasformato di mani di poker. Il lavoro futuro proposto mira a sviluppare meccanismi di recupero selettivo e a testare il sistema su dataset più ampi del mondo reale.