Immagina di essere un detective che cerca di risolvere un mistero, ma invece di una scena del crimine, i tuoi indizi sono un'immagine e una frase pubblicata su Internet. A volte la frase è una bugia, a volte l'immagine è falsa e a volte le due cose non corrispondono affatto. Questo è il mondo della "disinformazione multimodale", un campo in cui gli scienziati insegnano ai computer a scovare questi trucchi digitali. Gli strumenti che usano sono chiamati Large Multimodal Models (o LVLM per brevità). Pensa a questi modelli come a detective incredibilmente intelligenti e colti, capaci di vedere immagini e leggere testi. Ma ecco il problema: anche il detective più intelligente può confondersi se non ha un buon piano d'azione. Potrebbe guardare un'immagine divertente e dare per scontato che la storia sia vera, o potrebbe distrarsi con un dettaglio minore e perdere la grande bugia. La grande domanda che i ricercatori si pongono è: come possiamo insegnare a questi detective digitali a essere più coerenti e affidabili senza dover riaddestrare tutto il loro cervello ogni volta che imparano un nuovo trucco?

Questo articolo presenta una nuova e intelligente strategia chiamata "Verification-Notebook Learning" (VNL). Inveve di cercare di riconnettere i circuiti del cervello del detective (il che è difficile e costoso) o di limitarsi a dargli una pila di vecchi fascicoli di casi da sfogliare (il che è lento e disordinato), i ricercatori gli forniscono un quaderno speciale, pre-scritto. Prima che il detective inizi a risolvere nuovi casi, trascorre del tempo studiando errori e successi passati. Scrive un insieme di regole d'oro, come "Controlla sempre se l'oggetto nella foto esiste davvero" o "Non definirlo un disallineamento solo perché il testo è leggermente vago". Questo quaderno è compatto, facile da leggere e rimane invariato mentre il detective lavora.

I ricercatori hanno scoperto che questo approccio funziona sorprendentemente bene. Quando hanno testato il loro detective "guidato dal quaderno" contro altri metodi, ha risolto gli enigmi con maggiore accuratezza. Ad esempio, in un test che coinvolgeva quattro diversi tipi di bugie, il metodo del quaderno ha ottenuto un punteggio del 73,2%, superando il secondo miglior metodo con un margine netto. L'articolo suggerisce che avere queste regole chiare e scritte aiuta il computer a evitare trappole comuni, come confondere un drago finto in una foto con una didascalia errata. La scoperta chiave è che non è necessario cambiare il codice interno del computer per renderlo più intelligente; basta dargli una guida migliore, già pronta, su come pensare.

Il dilemma del detective

Immagina di stare scorrendo il tuo telefono e di vedere un post con la foto di un gatto che indossa un smoking e una didascalia che dice: "Questo gatto è il nuovo sindaco di New York". È una bugia? Beh, il gatto non è reale (è una foto), la didascalia è falsa e le due cose non corrispondono. Ma cosa succederebbe se la foto fosse reale e la didascalia fosse solo uno scherzo? O se la foto fosse reale, ma la didascalia affermasse che il gatto proviene da una città diversa?

Questa è la realtà disordinata della disinformazione online. Non si tratta solo di individuare un post "falso"; si tratta di capire dove si nasconde la bugia. È il testo a mentire? L'immagine è stata manipolata? O sono solo due cose slegate incollate insieme? Questo è ciò che gli scienziati chiamano rilevamento "consapevole della fonte" (source-aware).

Per molto tempo, abbiamo cercato di risolvere il problema insegnando ai computer a ragionare meglio. Gli diciamo: "Ehi, guarda il testo, poi guarda la foto, poi confrontali". Abbiamo persino costruito sistemi complessi in cui il computer agisce come una squadra di agenti che dibattono sulla risposta. Ma c'è un problema: ogni volta che il computer vede un nuovo post, deve capire le regole da zero. È come un detective che dimentica il suo manuale di istruzioni dopo ogni singolo caso. Potrebbe risolvere un caso perfettamente, ma poi dimenticare la lezione per quello successivo.

La soluzione del quaderno

Gli autori di questo articolo, Junyuan Tan, hanno deciso di provare un approccio diverso. Invece di cercare di far "imparare" il computer nel senso tradizionale (che comporta il cambiamento delle sue impostazioni interne, come riaddestrare il cervello di uno studente), hanno fornito al computer un Verification Notebook (Quaderno di Verifica).

Pensa a questo quaderno come a un foglio di trucchi o a una guida sul campo che un detective esperto porta con sé. Non contiene tutti i fascicoli di casi mai risolti; sarebbe troppo pesante da trasportare. Contiene invece le lezioni apprese da quei casi.

• Regole decisionali: "Se il testo fa un'affermazione fattuale, controlla prima quello prima di preoccuparti della foto."
• Errori da evitare: "Non assumere un disallineamento solo perché il testo è leggermente vago."
• Indizi di evidenza: "Se vedi un oggetto che sembra fisicamente impossibile, quello è un segno di distorsione visiva."

Ecco come avviene la magia:

1. La fase di apprendimento: Il computer (che chiamano "Verifier") esamina un gruppo di esempi pratici. Tenta di risolverli usando il suo quaderno attuale.
2. L'Editor: Una seconda parte del sistema (l' "Editor") esamina il lavoro del Verifier. Se il Verifier commette un errore, l'Editor chiede: "Perché l'hai fatto?" e poi scrive una nuova regola nel quaderno per prevenire quell'errore la prossima volta.
3. Il Congelamento: Una volta scritto il quaderno, questo viene bloccato. Il cervello del computer (l'LVLM) rimane esattamente lo stesso. Non cambia il suo codice interno. Usa semplicemente il quaderno come guida.

Cosa hanno scoperto

I ricercatori hanno testato questa idea su un dataset chiamato MMFakeBench, che contiene migliaia di post con didascalie e immagini. Volevano vedere se il quaderno potesse aiutare il computer a distinguere tra quattro tipi di post:

1. Originale: Tutto è vero e corrisponde.
2. Distorsione Testuale: Il testo è una bugia.
3. Distorsione Visiva: L'immagine è falsa.
4. Disallineamento (Mismatch): Il testo e l'immagine non vanno d'accordo.

I risultati sono stati impressionanti. Il metodo del quaderno ha ottenuto un punteggio del 73,2% su una metrica chiamata "Macro-F1", che è un modo elaborato per dire che era bravo a individuare tutti i tipi di bugie, non solo quelle facili. Questo era molto meglio di altri metodi.

• Un approccio "diretto" standard (chiedere semplicemente al computer senza un quaderno) ha ottenuto circa il 63,4%.
• Un sistema complesso che utilizza molti passaggi e strumenti di ricerca esterni (chiamato MMD-Agent) ha ottenuto il 57,3%.

L'articolo suggerisce che il quaderno funziona perché trasforma il pensiero disordinato e temporaneo in regole chiare e permanenti. Non si tratta solo di avere più informazioni; si tratta di avere le istruzioni giuste su come usare quelle informazioni.

Perché il quaderno vince

Una delle cose più interessanti di questo metodo è che è trasparente. Se vuoi sapere perché il computer ha preso una decisione, puoi semplicemente leggere il quaderno. Puoi vedere l'esatta regola che ha seguito. Questo è diverso dagli altri metodi in cui la decisione del computer sembra una "scatola nera": ottieni una risposta, ma non sai come ci sia arrivata.

I ricercatori hanno anche scoperto che il quaderno ha aiutato il computer a migliorare nelle parti più difficili. Ad esempio, in un caso di test, una didascalia diceva "Black Canary è reale" (riferendosi a un supereroe) e la foto mostrava un uccello. Un computer senza quaderno avrebbe potuto dire: "Il testo e la foto non corrispondono, quindi è un disallineamento". Ma il quaderno aveva una regola: "Controlla prima se il testo è fattualmente errato". Così, il computer ha identificato correttamente che il testo era la bugia (Distorsione Testuale), non il disallineamento.

Un altro esempio coinvolgeva la foto di un aereo su una spiaggia con un drago finto sullo sfondo. Un computer senza quaderno avrebbe potuto concentrarsi sul drago e dire: "Il testo non menziona un drago, quindi è un disallineamento". Ma il quaderno aveva una regola: "Se l'immagine contiene qualcosa di impossibile, è una distorsione visiva". Così, il computer ha segnalato correttamente che l'immagine era il problema.

Il punto fondamentale

Questo articolo dimostra che non dobbiamo sempre rendere i modelli di IA più grandi o più complessi per renderli più intelligenti. A volte, dobbiamo solo dare loro una guida migliore. Creando un "Verification Notebook" che cattura le lezioni degli errori passati, i ricercatori sono riusciti ad aiutare un modello di IA congelato e immutabile a performare molto meglio nell'individuare la disinformazione.

Gli autori suggeriscono che questo è un modo pratico per costruire sistemi di verifica migliori. È leggero, facile da controllare e non richiede il riaddestramento dei massicci modelli di IA che sono già in circolazione. È un promemoria del fatto che, a volte, il modo migliore per imparare non è cambiare chi sei, ma scrivere ciò che hai imparato affinchiché tu non lo dimentichi la prossima volta.