Before Reading a "Neither" or a "Both": Calibrating Bilateral Probes of Paracomplete and Paraconsistent Behaviour in Language Models
Questo articolo propone un protocollo di calibrazione per distinguere il ragionamento paracompleto o paraconsistente genuino nei modelli linguistici dal rumore casuale, riscontrando che, sebbene diversi modelli esibiscano significativi gap di valore di verità su affermazioni note, solo il comportamento di un unico modello è abbastanza affidabile da essere interpretato, rivelando che le letture non calibrate del paradosso del mentitore possono essere erroneamente attribuite al dialeteismo o ai gap kripkeani.
Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Per capire come un programma informatico pensi alla verità, dobbiamo prima capire come gestisce la parola "no". Nello studio dell'intelligenza artificiale, i ricercatori chiedono spesso a un modello di giudicare un'affermazione, come "Il cielo è blu". Se il modello dice "falso", sappiamo che crede che il cielo non sia blu. Ma cosa succede se il modello dice "falso" all'affermazione "Il cielo è blu" e dice anche "falso" all'affermazione "Il cielo non è blu"? Questo crea un enigma logico. Il modello non sta semplicemente dicendo che il cielo è di un colore diverso; sta rifiutando sia l'affermazione che il suo opposto. In logica, questo stato è chiamato "gap" (vuoto), il che suggerisce che il modello consideri l'affermazione priva di qualsiasi valore di verità, forse perché la domanda stessa è mal posta. Questo metodo di porre due domande separate — una su un'affermazione e una sulla sua negazione — è chiamato valutazione bilaterale. È progettato per rivelare se una mente artificiale possa gestire le contraddizioni o se si confonda semplicemente con la struttura del linguaggio.
La posta in gioco è alta a causa di famosi enigmi filosofici, come il "paradosso del mentitore", una frase che dice: "Questa frase è falsa". Se la frase è vera, allora deve essere falsa. Se è falsa, allora deve essere vera. Per decenni, i filosofi hanno dibattuto se tali frasi siano impossibili da risolvere, o se siano sia vere che false contemporaneamente. Mentre i sistemi di intelligenza artificiale diventano sempre più capaci, i ricercatori hanno iniziato a usarli per testare queste antiche idee, sperando di vedere se le macchine adottino naturalmente una di queste complesse posizioni logiche. Tuttavia, un nuovo studio suggerisce che quando osserviamo da vicino il modo in cui queste macchine rispondono, spesso vediamo un errore nella loro capacità di elaborare la parola "non", piuttosto che un profondo intuito filosofico.
Maikel Leyva, un ricercatore di università cilene ed ecuadoriane, si è proposto di testare sei diversi modelli linguistici per vedere se ragionano davvero in questi modi complessi. Lo studio è iniziato con un piano semplice ma rigoroso: prima di chiedere ai modelli di enigmi filosofici difficili, il ricercatore ha chiesto loro prima di fatti che sono innegabilmente veri o falsi. Ha presentato 150 affermazioni chiare, come "La somma di 11 e 35 è 46" e "La capitale della Francia è Parigi", insieme alle loro negazioni. Ha poi chiesto a ciascun modello, in conversazioni separate, se l'affermazione originale fosse vera e se l'affermazione negata fosse vera. Se un modello funziona correttamente, dovrebbe dire "vero" a una e "falso" all'altra. Se dice "falso" a entrambe, ha creato un "gap". Se dice "vero" a entrambe, ha creato un "glut" (sovrabbondanza), ovvero una contraddizione.
I risultati di questo test iniziale sono stati sorprendenti. Dei sei modelli testati, quattro sono falliti in un controllo basilare della propria logica. Di fronte a semplici problemi matematici, questi modelli hanno spesso negato sia la somma corretta che quella errata. Ad esempio, un modello ha negato che 11 più 35 faccia 46, e ha anche negato che 11 più 35 non faccia 46. Questo accadeva in più della metà delle domande di matematica per alcuni modelli. Il ricercatore ha scoperto che questo fallimento non era dovuto a una mancanza di conoscenza; i modelli commettevano questi errori anche quando la matematica era corretta. Invezione, i modelli sembravano avere difficoltà con l'atto stesso della negazione. Non stavano scoprendo un vuoto logico nella natura dell'aritmetica; stavano semplicemente fallendo nell'elaborare la parola "non".
Per dare un senso a queste scoperte, il ricercatore ha stabilito una regola rigorosa, o "gate" (cancello), per interpretare i risultati. La risposta di un modello può essere considerata un vero gap logico solo se performa bene prima sui fatti semplici e noti. Se un modello commette troppi errori sulle domande facili, le sue risposte sulle domande difficili non possono essere ritenute affidabili. Quando questa regola è stata applicata, il quadro è cambiato drasticamente. Quattro dei modelli sono stati squalificati perché hanno fallito il gate. Un quinto modello, pur non avendo commesso molti errori logici, si è rifiutato di rispondere o ha dato risposte che non potevano essere comprese in oltre il 30 percento dei casi, rendendo i suoi risultati impossibili da misurare. Ciò ha lasciato solo un modello, un sistema più piccolo chiamato Gemini 3.1 Flash Lite, che era abbastanza affidabile da essere studiato ulteriormente.
Con questo singolo modello calibrato, il ricercatore è tornato al famoso paradosso del mentitore. Prima della calibrazione, una lettura non calibrata dei dati di un grande modello open-source aveva suggerito che la macchina trattasse il paradosso come un gap logico, rifiutandosi di assegnargli un valore di verità. Questo faceva pensare che la macchina seguisse la logica di un filosofo di nome Kripke, il quale sosteneva che tali frasi non avessero alcun valore di verità. Tuttavia, una volta applicata la calibrazione, quella conclusione è svanita. L'unico modello affidabile non ha trattato la frase del mentitore come un gap. Al contrario, ha risposto che la frase non è vera e che è falsa, dando di fatto un verdetto standard di "falso". Non ha visto la frase come sia vera che falsa, né ha visto che non avesse alcun valore. L'ha semplicemente rifiutata.
Lo studio conclude che la promessa di usare l'intelligenza artificiale per risolvere antichi enigmi logici è attualmente limitata dalle debolezze delle macchine stesse. I "gap" e i "glut" che i ricercatori speravano di trovare nel comportamento di questi modelli erano spesso errori nel modo in cui i modelli gestiscono la negazione. L'unico modello che ha superato il test rigoroso non ha offerto una nuova soluzione filosofica al paradoszzo del mentitore; ha offerto una risposta standard a due facce. Il modello non ha visto la frase come sia vera che falsa, né come priva di valore; ha semplicemente rifiutato l'affermazione. La ricerca non prova che le macchine non possano pensare in modi complessi, ma prova che non possiamo assumerlo. Per sapere cosa sta pensando davvero una macchina, dobbiamo prima essere certi che comprenda la differenza tra un'affermazione e il suo opposto. Finché non saremo in grado di calibrare i modelli per gestire la logica semplice del "non", qualsiasi conclusione profonda trarremo dalle loro risposte su enigmi complessi rimarrà non dimostrata.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.