Distilling Answer Set Programming Theories from Large Language Models
Questo articolo investiga la capacità dei grandi modelli linguistici di distillare autonomamente teorie di Answer Set Programming complete e corrette per compiti di visual question answering entro un limite di un'ora, dimostrando che i modelli all'avanguardia come Claude Sonnet 4.6, Claude Opus 4.7 e DeepSeek V4 Pro raggiungono un'accuratezza quasi perfetta su diversi benchmark, mentre GPT-5 esibisce una significativa variabilità delle prestazioni e sensibilità ai dati di riferimento.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate un mondo in cui i computer sono incredibilmente bravi in due cose molto diverse. Da un lato, sono come super-calcolatrici capaci di seguire regole rigide per risolvere enigmi logici, ma sono terribili nel comprendere il mondo disordinato e sfumato che li circonda. Dall'altro lato, sono come brillanti e creativi narratori capaci di leggere quasi tutto e scrivere poesie, ma spesso inventano fatti o si perdono quando viene chiesto loro di seguire un insieme rigido di istruzioni. Gli scienziati chiamano l'unione di queste due abilità informatica "neurosimbolica". È come cercare di costruire un robot che abbia sia l'immaginazione di un poeta che la precisione di un matematico. La grande domanda che i ricercatori si pongono è: possiamo insegnare a un computer super intelligente (un Large Language Model) a scrivere il proprio libro di regole rigorose partendo da zero, in modo che possa risolvere enigmi complessi senza che un essere umano debba scrivere ogni singola regola a mano? Questo è importante perché scrivere questi libri di regole è lento, noioso e difficile da eseguire correttamente, ma se un computer potesse farlo, potremmo sbloccare nuovi modi per far ragionare le macchine sul mondo.
In questo articolo, un team di ricercatori ha cercato di vedere se un grande modello linguistico potesse agire come un apprendista instancabile, imparando a scrivere un "libro di regole" completo per un puzzle simile a un videogioco chiamato Visual Question Answering (VQA). Immaginate di mostrare al computer l'immagine di una scena e di chiedere: "Il frisbee giallo si trova a sinistra della persona?". Per rispondere, il computer deve capire l'immagine, scomporre la domanda e poi eseguire un controllo logico. I ricercatori hanno dato al computer un file vuoto e un set di strumenti, incluso un "solver" (un arbitro rigoroso che controlla se le regole hanno senso). Il compito del computer era quello di leggere alcuni esempi pratici, scrivere alcune regole, chiedere all'arbitro di controllarle, vedere dove aveva fallito e poi riscrivere le regole. Aveva un'ora di tempo per continuare a farlo finché non fosse diventato il più bravo possibile.
I ricercatori hanno testato questo su tre diversi "livelli di puzzle": CLEVR (forme semplici generate al computer), GQA (foto del mondo reale con molti più oggetti) e CLEVRER (brevi video che coinvolgono causa ed effetto). Hanno provato questo con nove diversi modelli di computer, che vanno dai più recenti e potenti modelli "frontier" fino a quelli più piccoli e datati. I risultati sono stati un mix di straordinario successo e sorprendente fallimento. Tre dei quattro modelli di alto livello sono diventati maestri del gioco. Sui puzzle semplici di CLEVR, hanno raggiunto un punteggio perfetto del 100%. Sui puzzle più difficili di GQA, hanno ottenuto punteggi compresi tra il 92,8% e il 98,8%, che è persino migliore dei migliori libri di regole scritti da umani disponibili per quel dataset. Sui puzzle video (CLEVRER), hanno ottenuto punteggi tra il 92,7% e il 95,3%.
Tuttavia, non tutti i modelli hanno avuto successo. Uno dei modelli più famosi, GPT-5, è andato alla grande sui puzzle semplici (98,7%), ma è crollato sui puzzle con foto del mondo reale, scendendo a solo il 41,8%. I ricercatori hanno scoperto che questo non era dovuto al fatto che il modello non fosse in grado di ragionare, ma perché il modello semplicemente non scriveva abbastanza regole per coprire tutti i diversi tipi di domande. Quando i ricercatori hanno dato ai modelli un "foglietto d'appunti" (un libro di regole di riferimento da un altro tipo di puzzle) per aiutarli, i modelli migliori sono rimasti pressoché invariati, ma GPT-5 è in realtà peggiorato, suggerendo che guardare il foglietto d'appunti potesse averlo distrutto o consumato la sua memoria. I modelli più piccoli e meno potenti sono falliti per lo più nel tentativo di scrivere qualsiasi regola funzionante, rimanendo spesso bloccati o scrivendo regole che l'arbitro non riusciva a comprendere.
Lo studio dimosta che, con la giusta configurazione, un computer può effettivamente insegnare a se stesso a scrivere un libro di regole logiche completo e di alta qualità partendo da zero, raggiungendo o addirittura superando le prestazioni umane su diversi benchmark. Ma suggerisce anche che questa capacità non è garantita; dipende fortemente dal modello specifico utilizzato e, a volte, dare a un modello più informazioni (come un libro di riferimento) può effettivamente confonderlo. I ricercatori hanno rilasciato tutto il loro codice e i libri di regole scritti dai computer, invitando altri a provare a migliorare questo apprendistato "neurosimbolico".
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.