🤖 AI

Distilling Answer-Set Programming Rules from LLMs for Neurosymbolic Visual Question Answering

Questo articolo propone un approccio neurosimbolico per il Visual Question Answering che destilla regole di Answer-Set Programming dai Large Language Models sfruttando esempi few-shot e il feedback del solver per estendere automaticamente le teorie di ragionamento, offrendo un'alternativa scalabile e interpretabile all'apprendimento di regole tradizionale basato sui dati.

Autori originali: Thomas Eiter, Nelson Higuera Ruiz, Johannes Oetsch

Pubblicato 2026-06-03

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Thomas Eiter, Nelson Higuera Ruiz, Johannes Oetsch

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il quadro generale: Insegnare a un robot a pensare con la logica

Immaginate di avere un assistente robotico molto intelligente che può guardare un'immagine e rispondere a domande su di essa (come "Il gatto indossa un cappello?"). Questo si chiama Visual Question Answering (VQA).

Di solito, questi robot vengono addestrati come atleti: si esercitano milioni di volte finché non ottengono la risposta corretta indovinando degli schemi. Ma questo li rende un po' come una "scatola nera": non sapete perché abbiano dato la risposta giusta e, se fate loro una domanda di un tipo leggermente diverso, potrebbero confondersi.

Gli autori di questo articolo vogliono costruire un robot che pensi più come un logico umano. Utilizzano un "libro delle regole" speciale chiamato Answer-Set Programming (ASP). Pensate a questo libro delle regole come a un insieme di istruzioni logiche rigorose (come una ricetta) che dice esattamente al robot come dedurre la risposta.

Il Problema: Scrivere questi libri delle regole a mano è difficile. Se volete che il robot impari un nuovo trucco (come contare gli oggetti in un modo specifico), uno sviluppatore umano deve sedersi e scrivere nuove regole da zero. È un processo lento e noioso.

La Soluzione: Gli autori hanno chiesto a un'IA super intelligente (un Large Language Model, o LLM) di scrivere le regole per loro. Chiamano questo processo "Distillazione delle Regole" (Distilling Rules).

Come funziona: L'analogia del "Tutor e dello Studente"

Immaginate che l'LLM sia uno studente brillante ma un po' distratto che conosce molto di logica, ma non ha mai visto questo specifico puzzle prima d'ora. Il "Insegnante" (il sistema informatico) vuole che lo studente scriva il libro delle regole corretto.

Ecco il processo passo dopo passo che hanno utilizzato:

La Preparazione: L'insegnante dà allo studente un libro delle regole "rotto". Funziona per la maggior parte delle cose, ma manca di una regola specifica (ad esempio, come trovare il percorso più breve su una mappa).
L'Esempio: L'insegnante mostra allo studente un singolo esempio: "Ecco l'immagine di una mappa, ecco la domanda e la risposta corretta".
Il Tentativo: Lo studente (l'LLM) prova a scrivere una nuova regola per riparare il libro rotto.
- Il Problema: Lo studente a volte commette errori. Potrebbe scrivere una regola con una grammatica errata (errore di sintassi) o una regola che sembra corretta ma dà la risposta sbagliata (errore di logica).
Il Ciclo di Correzione (La "Riparazione"):
- Controllo della Sintassi: Il computer controlla se la regola è scritta nel linguaggio corretto. Se lo studente ha usato un simbolo che non esiste nel linguaggio del libro delle regole, il computer dice: "Ehi, correggi l'ortografia", e lo studente riprova.
- Controllo della Logica: Il computer esegue la nuova regola. Se la risposta è sbagliata, il computer dice: "Hai dato la risposta errata. Riprova".
- La "Rete di Sicurezza" (Regression Testing): Una volta che lo studente scrive una regola che funziona per il nuovo esempio, il computer controlla se quella regola rompe gli vecchi esempi. È come assicurarsi che un nuovo ingrediente in una torta non rovini il sapore delle torte che avevate preparato in precedenza.
Il Risultato: Una volta che la regola supera tutti i controlli, viene aggiunta al libro delle regole principale.

La "Magia" di pochi esempi

Uno dei risultati più interessanti dell'articolo è che lo studente non aveva bisogno di studiare migliaia di esempi. Bastavano pochi esempi (a volte solo 1 o 2) perché i modelli di IA più intelligenti riuscissero a capire la logica e a scrivere la regola perfetta.

È come mostrare a uno chef geniale la foto di un soufflé perfetto e chiedergli di scrivere la ricetta. Non ha bisogno di assaggiare 1.000 soufflé; deve solo capire la logica degli ingredienti.

I Concorrenti: Chi è stato il migliore?

I ricercatori hanno testato diversi "studenti" (modelli di IA) per vedere chi potesse scrivere le regole migliori:

I Top Performer (GPT-4o, DeepSeek, Gemini-3): Erano come i primi della classe. Scrivevano regole perfette quasi ogni volta, anche per puzzle molto complicati che coinvolgevano mappe e grafi.
- Gemini-3 era particolarmente speciale. Sembrava avere una "modalità di pensiero" in cui faceva una pausa per ricontrollare la propria logica prima di scrivere la regola, il che portava a pochissimi errori e a libri delle regole molto brevi e puliti.
Gli Studenti in Difficoltà (LLaMA3, Mistral): Questi modelli erano discreti per compiti semplici, ma si confondevano con la logica complessa. A volte, dare loro troppi suggerimenti (prompt complessi) li faceva performare peggio, come se fossero stati sopraffatti dalle istruzioni.

Il "Pruning" (Pulire il disordine)

A volte, l'IA scriveva un libro delle regole che funzionava ma era disordinato. Poteva includere cinque modi diversi per dire la stessa cosa, o regole che non erano realmente necessarie.

I ricercatori hanno creato uno strumento "giardiniere" (un'euristica di pruning) che passava attraverso il libro delle regole e tagliava via i rami secchi (le regole ridondanti).

Analogia: Immaginate che l'IA abbia scritto una frase come: "Se piove, porta un ombrello. Inoltre, se piove, porta un ombrello. Inoltre, se piove, porta un ombrello". Il giardiniere cancella le copie extra, lasciando un'unica istruzione chiara.
Risultato: Questo ha reso i libri delle regole più piccoli e facili da leggere per gli umani, senza cambiare la capacità del robot di rispondere alle domande.

Cosa significa tutto questo (secondo l'articolo)

L'articolo conclude che non abbiamo più bisogno di codificare a mano la logica complessa per i sistemi di IA. Possiamo usare un'IA intelligente per "distillare" la logica per noi, usando solo pochi esempi come guida.

Funziona meglio quando il compito è chiaro e il modello di IA è molto intelligente.
È diverso dall'apprendimento automatico tradizionale perché non "memorizza" i dati; impara la logica del problema.
Crea trasparenza: Poiché l'output è un insieme di regole logiche (come una ricetta), gli esseri umani possono effettivamente leggere e capire perché il robot ha preso una decisione.

In breve: Gli autori hanno costruito un sistema in cui un essere umano fornisce un puzzle logico rotto e alcuni esempi, e un'IA intelligente scrive i pezzi mancanti del puzzle, controlla il proprio lavoro e restituisce un libro delle regole pulito e funzionante.

Sintesi Tecnica: Distillazione di Regole di Programmazione con Answer-Set da LLM per il Visual Question Answering Neurosimbolico

Definizione del Problema
Il Visual Question Answering (VQA) richiede l'integrazione di input multimodali (visione e testo) con catene di ragionamento complesse. Sebbene gli approcci neurosimbolici modulari offrano interpretabilità separando la percezione (neurale) dal ragionamento (simbolico), essi affrontano un significativo onere di manutenzione. Nello specifico, quando i requisiti del compito cambiano — come l'introduzione di nuovi tipi di domande o operatori di ragionamento — la componente di ragionamento simbolico, spesso implementata tramite l'Answer-Set Programming (ASP), deve essere estesa o adattata manualmente. I metodi tradizionali di apprendimento delle regole basati sui dati (ad esempio, l'Inductive Logic Programming) richiedono tipicamente grandi dataset e spazi di ricerca predefiniti (mode declarations) per generalizzare le regole. Questo articolo affronta la sfida di automatizzare l'estensione delle teorie di ragionamento basate su ASP nei sistemi VQA senza ricorrere a un esteso riaddestramento o all'ingegneria manuale delle regole.

Metodologia
Gli autori propongono un framework di distillazione della conoscenza dichiarativa in cui i Large Language Models (LLM) vengono istruiti (prompted) per generare o estendere regole ASP basandosi su esempi few-shot. Il sistema opera all'interno di una pipeline VQA neurosimbolica modulare composta da:

Modulo di Visione: Converte le immagini in grafi di scena simbolici (fatti ASP).
Modulo del Linguaggio: Converte le domande in linguaggio naturale in programmi funzionali (fatti ASP).
Modulo di Ragionamento: Un solver ASP deriva le risposte combinando i fatti e una teoria ASP (un insieme di regole).

L'algoritmo principale (Algoritmo 1) itera attraverso una suite di distillazione di esempi VQA $(s, q, a)$ . Se la teoria ASP corrente $T$ non riesce a derivare la risposta corretta $a$ per una data scena $s$ e domanda $q$ , il sistema interroga un LLM per generare regole candidate che colmino tale lacuna. Il processo impiega un ciclo di feedback che coinvolge:

Strategie di Prompting:
- Multi-prompting: Richiede molteplici varianti di soluzione in una singola chiamata.
- Chain-of-Thought (CoT): Istruisce l'LLM a scomporre il problema in passaggi logici intermedi prima di generare le regole (versioni semplici e complesse).
Validazione e Riparazione (Mending):
- Riparazione Sintattica (Syntax Mending): Se l'LLM genera ASP sintatticamente non valido (ad esempio, simboli matematici allucinati), il messaggio di errore del solver viene riportato all'LLM per la correzione.
- Riparazione Semantica (Semantic Mending): Se le regole sono sintatticamente corrette ma producono la risposta errata, l'output errato del solver viene confrontato con la verità fondamentale (ground truth) e riportato all'LLM per la revisione.
- Test di Regressione: Le nuove regole vengono testate su esempi precedentemente risolti per garantire la coerenza e prevenire regressioni.
Eliminazione della Ridondanza: Un'euristica (Algoritmo 2) elimina le regole che non influenzano l'insieme delle risposte (answer set), assicurando che la teoria distillata rimanga compatta.

Contributi Chiave

Distillazione della Conoscenza Dichiarativa: Un metodo per estendere automaticamente le teorie ASP nei sistemi VQA tramite il prompting di LLM con esempi, anziché utilizzarli come dati di addestramento per l'apprendimento statistico.
Strategie di Prompting: La progettazione e la valutazione di specifiche tecniche di prompting (multi-prompting, CoT) e meccanismi di riparazione (syntax/semantic mending) tarati per la generazione di programmi logici.
Sintesi di Regole Composizionali: Dimostrazione del fatto che gli LLM possono comporre nuovi predicati ad alta arità (ad esempio, in_between, connected) partendo dalle operazioni primitive esistenti all'interno della teoria ASP.
Valutazione Empirica: Una valutazione completa su tre diversi dataset:
- GQA: Scene del mondo reale con relazioni tra oggetti complesse.
- CLEVR: Scene geometriche sintetiche con domande composizionali.
- CLEGRV: Reti di transito basate su grafi che richiedono ragionamento ricorsivo (ad esempio, percorsi minimi).

Risultati
Gli esperimenti hanno valutato diversi LLM (GPT-4o, DeepSeek, Mistral-Large, LLaMA3-70B, Gemini-3 Pro) nel ripristinare i predicati rimossi dalle teorie ASP.

Performance: I modelli su larga scala (GPT-4o, DeepSeek, Gemini-3) hanno raggiunto un'accuratezza quasi perfetta (spesso >98%) su GQA e CLEVR con pochissimi esempi (tipicamente 1–4 per tentativo di distillazione).
Complessità del Dataset: Le performance sono diminuite sul dataset più complesso CLEGRV (che coinvolge la ricorsione), sebbene Gemini-3 Pro abbia mantenuto un'alta accuratezza (100% su diversi predicati), grazie alla sua modalità di "alto ragionamento".
Sensibilità del Modello: I modelli più piccoli o meno capaci (LLaMA3-70B, Mistral-Large) hanno mostrato un'alta varianza e hanno faticato con i compiti complessi. Interessante notare che, per questi modelli, la disattivazione delle strategie di prompting complesso (come CoT) ha talvolta migliorato le prestazioni, suggerendo che possano essere "sovraccaricati" da istruzioni verbiose.
Efficienza: Gemini-3 Pro è stato il più efficiente, richiedendo il minor numero di esempi e token, e producendo i set di regole meno ridondanti.
Ablazione: L'intera pipeline di prompting (mending + CoT + multi-prompting) ha aumentato significativamente le prestazioni per i modelli di alto livello, ma non è sempre stata necessaria per i modelli più deboli.

Significatività e Rivendicazioni
L'articolo sostiene che la distillazione delle regole da LLM sia una alternativa promettente all'apprendimento delle regole basato sui dati (ILP/SRL). A differenza dell'ILP, che richiede definizioni esplicite dello spazio di ricerca e grandi dataset, questo approccio sfrutta la conoscenza implicita degli LLM, richiedendo solo pochi esempi per elicitare regole corrette e generalizzabili.

Interpretabilità: Il metodo preserva la trasparenza dei sistemi neurosimbolici producendo regole logiche leggibili dall'uomo piuttosto che pesi neurali opachi.
Adattabilità: Offre un meccanismo valido per i professionisti per estendere dinamicamente i moduli di ragionamento man mano che i requisiti del compito evolvono, agendo come un "copilota interattivo" per la programmazione logica.
Limitazioni: Gli autori notano che il metodo assume una semantica delle domande decomponibile e composizionale e si affida alla validazione empirica (test di regressione) piuttosto che a prove formali di correttezza. L'approccio è attualmente più efficace per LLM grandi e capaci.

Il lavoro suggerisce che, sebbene gli LLM possano non sostituire i motori di ragionamento formale, possono servire efficacemente come ponte per automatizzare la manutenzione e l'estensione dei componenti di ragionamento simbolico in sistemi di intelligenza artificiale complessi.