FAU at ImageCLEF 2026 Task on Multimodal Reasoning Robust Candidate Scoring and Concise Multilingual Visual Answering

Immagina di essere seduto in un'aula d'esame ad alta tensione, ma invece di leggere semplicemente parole su una pagina, il test è un collage caotico di libri di testo densi, diagrammi complessi, formule scarabocchiate e grafici in sei lingue diverse. Il tuo compito è guardare questo disordine visivo e rispondere a domande difficili su di esso. Questo è il mondo del "Ragionamento Multimodale", un campo in cui i computer cercano di agire come studenti umani che possono sia "vedere" un'immagine che "leggere" il testo al suo interno. Per molto tempo, la grande domanda è stata: "Quanto deve essere intelligente il cervello del computer per superare l'esame?". Ma c'è un intoppo. Anche se un computer super-intelligente comprende perfettamente la matematica e la scienza, può comunque fallire il test se parla troppo, usa la lingua sbagliata o scrive la sua risposta in un formato disordinato che la macchina di correzione dell'insegnante non riesce a leggere. È come avere uno studente genio che scrive un saggio brillante ma dimentica di scrivere il proprio nome sulla riga, ottenendo così zero.

Questo articolo racconta la storia di un team dalla Germania (FAU) che è entrato in una competizione chiamata ImageCLEF 2026 per risolvere esattamente questo problema. Non hanno solo costruito un cervello più intelligente; hanno costruito un insegnante più severo. La loro scoperta principale è che il modo in cui chiedi al computer di rispondere è importante quanto il computer stesso. Hanno scoperto che, per le domande a scelta multipla, è meglio impedire al computer di "scrivere" una risposta e invece fargli "valutare" le opzioni come un giudice. Per le domande a risposta aperta, hanno imparato che il computer deve essere costretto a essere breve e pulito, eliminando tutto il suo "pensare ad alta voce" prima di consegnare il risultato finale. Hanno anche provato alcuni trucchi popolari, come dare al computer un foglio di riferimento testuale (OCR) o insegnargli nuove cose (fine-tuning), ma sorprendentemente quei trucchi hanno reso il computer meno performante. Concentrandosi su regole rigide e sulla pulizia delle risposte, il loro sistema è salito in cima alla classifica, dimostrando che un po' di disciplina ingegneristica può trasformare un'IA potente ma disordinata in un esaminatore affidabile.

La Sfida: L'Esame Visivo

La competizione prevedeva due tipi principali di domande. Il primo era la Scelta Multipla Visiva (Visual MCQ). Immagina una domanda di biologia in bulgaro con una tabella di dati e cinque opzioni etichettate da A a E. Il computer deve scegliere la lettera corretta. Il secondo era la Risposta Aperta Visiva (Visual OpenQA). Qui non ci sono opzioni. Il computer deve guardare un diagramma (magari un grafico economico) e scrivere una risposta breve e diretta nella stessa lingua della domanda.

La parte difficile è che queste immagini sono piene di informazioni "dense". Non sono solo foto di gatti; sono pagine di articoli scientifici con formule, unità di misura e testo minuscolo. Se il computer si confonde con il layout o scrive una lunga spiegazione quando è necessario solo un numero, perde punti.

La Strategia: Il Trucco "Valuta, Non Scrivere"

Per la parte a scelta multipla, il team si è reso conto che lasciare che il computer scrivesse una frase come "La risposta è A perché..." era pericoloso. Il computer potrebbe trovare la lettera giusta ma avvolgerla in troppo altro testo, confondendo il sistema di valutazione.

Invevere, hanno cambiato le regole del gioco. Hanno chiesto al computer di guardare le opzioni A, B, C, D ed E e di dare semplicemente a ciascuna un "punteggio" in base a quanto fosse probabile che fosse corretta. Pensa a un giudice sportivo che dà un punteggio di 9,5 a l'esecuzione di una ginnasta invece di scrivere un paragrafo su di essa. Il computer non doveva generare testo; doveva solo calcolare quale lettera avesse il punteggio più alto. Questo rendeva le risposte incredibilmente pulite e facili da combinare. Se eseguivano il test con tre diversi cervelli informatici, potevano prendere i punteggi di tutti e tre, farne la media e scegliere il vincitore. Questa "fusione dei punteggi" li ha aiutati a ottenere un'accuratezza molto alta di 0,7108, portandoli al terzo posto complessivo.

Il Team di Pulizia: Domare l'IA Logorroica

Per le domande a risposta aperta, il problema era l'opposto. I computer erano troppo chiacchieroni. Amavano spiegare il loro ragionamento, dire "Ecco la risposta" o usare tag XML elaborati come <answer>. Il sistema di valutazione, tuttavia, voleva solo la risposta pura.

Il team ha trattato la cosa come un editor rigoroso. Hanno usato un "prompt conciso" che diceva al computer: "Smetti di pensare ad alta voce. Dai solo la risposta". Poi, hanno passato le risposte attraverso un "team di pulizia" (un insieme di regole) che cancellava qualsiasi parola extra, tracce di ragionamento o errori di formattazione. Hanno anche combinato le risposte provenienti da diversi modelli informatici. Se un modello diceva "50 kg" e un altro diceva "50 chilogrammi", il sistema capiva che erano la stessa cosa e sceglieva la migliore. Questa attenta pulizia e combinazione li ha aiutati a vincere il primo posto nella categoria a risposta aperta con un punteggio di 0,6488 (misurato tramite una metrica chiamata COMET).

I "Non Fare": Cosa Non Ha Funzionato

Il team ha provato due cose che molti pensano possano aiutare, ma che in realtà hanno fatto scendere i punteggi.

1. Il Foglio di Riferimento (OCR): Hanno provato a fornire al computer una trascrizione testuale dell'immagine (usando uno strumento chiamato OCR) per aiutarlo a leggere il testo. Ma questo è stato controproducente. La trascrizione spesso conteneva errori di battitura, formule interrotte o l'ordine errato delle parole. Era come dare a uno studente un foglio di riferimento pieno di errori; confondeva il computer più dell'immagine stessa.
2. Il Corso Intensivo (Fine-Tuning): Hanno cercato di "insegnare" al computer specificamente sulle domande dell'esame usando un metodo chiamato fine-tuning LoRA. Pensavano che questo lo avrebbe reso un esperto. Invece, lo ha reso peggiore. L'articolo suggerisce che il computer fosse già abbastanza intelligente da leggere le immagini e che cercare di riaddestrarlo su un dataset piccolo e disordinato abbia solo rovinato le sue abilità naturali.

La Conclusione

La grande lezione di questo articolo non riguarda l'invenzione di un nuovo cervello super-intelligente. Si tratta di ingegneria dell'inferenza — che è un modo elegante per dire "come chiediamo al computer di fare il suo lavoro". Gli autori hanno scoperto che un modello informatico potente, se dotato di regole rigide, input puliti e un buon processo di pulizia, può superare un modello leggermente più intelligente che è lasciato libero di essere disordinoso.

Hanno dimostrato che non è sempre necessario rendere l'IA più grande o addestrarla più duramente. A volte, devi solo dirle di stare zitta, scegliere la lettera giusta e consegnare un foglio di risposte pulito. Concentrandosi su questi dettagli pratici, hanno trasformato potenti modelli di visione-linguaggio in affidabili vincitori di competizioni, dimostrando che a volte il modo migliore per risolvere un problema è gestire l'output, non solo aggiornare il motore.