💬 NLP

BLUEX v2: Benchmarking LLMs on Open-Ended Questions from Brazilian University Entrance Exams

Questo articolo introduce BLUEX v2, un nuovo benchmark composto da 395 domande aperte provenienti dai principali esami di ammissione all'università del Brasile (2022–2025) per valutare 21 modelli linguistici di grandi dimensioni allo stato dell'arte su compiti discorsivi in portoghese, rivelando significativi divari di prestazioni e mettendo in evidenza le sfide nel ragionamento matematico e nella comprensione delle immagini.

Autori originali: João Guilherme Alves Santos, Giovana Kerche Bonás, Thiago Laitz, Thales Sales Almeida, Helio Pedrini

Pubblicato 2026-06-23

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: João Guilherme Alves Santos, Giovana Kerche Bonás, Thiago Laitz, Thales Sales Almeida, Helio Pedrini

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di aver testato quanto siano intelligenti un gruppo di robot ponendo loro semplici domande a scelta multipla, come "Di che colore è il cielo? A) Blu, B) Rosso". Lo hanno fatto andando alla grande nel scegliere la lettera corretta. Ma i ricercatori dietro questo articolo, BLUEX v2, si sono resi conto che scegliere una lettera è facile. Il vero test dell'intelligenza è scrivere un intero saggio, spiegare perché il cielo è blu e disegnare un diagramma per dimostrarlo.

Questo articolo presenta un nuovo "esame finale" molto più difficile per i modelli di IA, progettato specificamente per testare la loro capacità di parlare e scrivere in portoghese.

Ecco la suddivisione del loro lavoro utilizzando semplici analogie:

1. Il Problema: La trappola del "scelta multipla"

In precedenza, i ricercatori testavano l'IA sugli esami di ammissione universitari brasiliani, ma solo sul primo turno. Pensa al primo turno come a un gioco a quiz dove devi solo cerchiare la risposta giusta. È facile per l'IA indovinare o riconoscere schemi.

Il secondo turno di questi esami (quello su cui si concentra BLUX v2) è come una difesa della tesi finale. Gli studenti devono scrivere risposte lunghe e dettagliate, risolvere problemi matematici complessi passo dopo passo e interpretare mappe o grafici. I vecchi test non potevano misurare se un'IA potesse effettivamente pensare e scrivere come un essere umano; misuravano solo se fosse in grado di riconoscere la risposta corretta.

2. La Soluzione: Un nuovo "Esame Finale" per l'IA

Il team ha creato BLUEX v2, un enorme dataset di 395 domande reali provenienti dalle migliori università del Brasile (UNICAMP e USP) tra il 2022 e il 2025.

Le Domande: Queste non sono solo testo. Circa il 56% di esse include immagini, grafici o mappe che devi comprendere per rispondere correttamente.
Il Formato: L'IA deve scrivere risposte a testo libero, non scegliere A, B, C o D.
Le Materie: Copre 9 materie diverse, dalla Storia e Sociologia alla Fisica e Matematica.

3. Come hanno valutato i robot: L'"Insegnante IA"

Valutare un saggio di 5 pagine è difficile da fare rapidamente per gli esseri umani per migliaia di test. Così, i ricercatori hanno costruito un sistema in cui un IA agisce come l'insegnante.

La Rubrica: Per prima cosa, hanno usato un'IA per leggere la "risposta corretta ufficiale" e scomporla in una checklist (una rubrica). Ad esempio, se la risposta deve menzionare "ATP" e "contrazione muscolare", la checklist contiene proprio questi due elementi.
Il Giudice: Un'altra IA (il "Giudice") legge la risposta dello studente robot e spunta gli elementi sulla lista. Ha menzionato l'ATP? Sì. Ha menzionato la contrazione muscolare? No.
Il Punteggio: Il robot riceve un punteggio da 0 a 10 in base a quanti elementi della checklist ha soddisfatto.
La Prova: Per assicurarsi che l' "Insegnante IA" non stesse allucinando, hanno confrontato la sua valutazione con quella dei veri insegnanti umani. L'IA è stata d'accordo con gli umani l'89,5% delle volte. Questo è un punteggio molto alto, che dimostra quanto la valutazione automatizzata sia affidabile.

4. I Risultati: Chi è passato e chi è stato bocciato?

Hanno testato 21 diversi modelli di IA (i "robot") su questo esame.

La Dispersione: I punteggi variavano da un minimo di 4,18 a un massimo di 9,10. Questo dimostra che il test è efficace nel distinguere tra un robot intelligente e uno non molto intelligente.
I Vincitori: I migliori performer sono stati i modelli giganti e costosi come Gemini 3.1 Pro e GPT-5.
I Perdenti: I modelli più piccoli e open-source hanno faticato, con i punteggi più bassi intorno a 4,18.
Le Stelle Brasiliane: Interessante notare che i modelli di produzione brasiliana (Sabiá-4) hanno ottenuto prestazioni molto buone, quasi pari a quelle dei giganti globali, dimostendo che l'addestramento locale aiuta.

5. Le "Parti Difficili": Dove i Robot inciampano

Anche i migliori robot hanno avuto difficoltà con due cose specifiche:

Ragionamento Matematico: Questa è stata la materia più difficile. Proprio come un essere umano che può scrivere un bell'articolo ma non sa fare una divisione lunga, le IA potevano scrivere bellissimi saggi in portoghese ma spesso sbagliavano i passaggi matematici.
Comprensione delle Immagini: Quando una domanda includeva un grafico o una mappa, i punteggi dei robot scendevano di circa 0,5 punti in media. È come dare a uno studente un problema di matematica ma disegnare i numeri su un pezzo di carta stropicciato; l'IA faticava a "vedere" i dettagli abbastanza chiaramente da risolvere il problema.

6. Il Costo del Test

I ricercatori sono stati trasparenti riguardo al prezzo. Gestire l'intero esperimento — porre le domande, generare le descrizioni delle immagini e valutare le risposte — è costato circa 127 dollari. Questo è sorprendentemente economico per uno studio di queste dimensioni, dimostando che possiamo testare l'IA rigorosamente senza spendere milioni.

Il Punto Fondamentale

BLUEX v2 è un nuovo, più severo standard per testare l'IA in portoghese. Va oltre il semplice quiz e costringe l'IA a scrivere, ragionare e guardare immagini. I risultati mostrano che, mentre l'IA sta diventando molto brava a scrivere e argomentare in portoghese, fatica ancora con la matematica complessa e l'interpretazione dei dati visivi. Questo benchmark offre ai ricercatori una mappa chiara su dove concentrare i loro prossimi miglioramenti.

Riepilogo Tecnico: BLUEX v2

Definizione del Problema

Sebbene i Large Language Models (LLM) abbiano dimostrato competenza in vari compiti, la loro valutazione in lingua portoghese rimane sottosviluppata, in particolare per quanto riguarda il ragionamento discorsivo e aperto. I benchmark esistenti, come l'originale BLUEX, si basano su domande a scelta multipla della prima fase degli esami di ammissione universitari brasiliani. Questi formati testano principalmente capacità di riconoscimento e selezione, fallendo nel catturare la comprensione profonda, il ragionamento multi-step e l'articolazione complessa richiesti nella seconda fase di tali esami. Inoltre, le valutazioni attuali spesso mancano di una rigorosa valutazione multimodale, nonostante la prevalenza di immagini, grafici e diagrammi nei test accademici. Esiste una necessità critica di un benchmark che valuti gli LLM di lingua portoghese su risposte scritte a formato libero attraverso diverse materie accademiche e capacità cognitive.

Metodologia

Costruzione del Dataset (BLUEX v2)

Gli autori hanno costruito un benchmark derivato dalle esami di seconda fase degli esami di ammissione delle due principali università brasiliane: UNICAMP (Comvest) e USP (Fuvest), coprendo gli anni d'esame 2022–2025.

Ambito: Il dataset contiene 395 domande discorsive (escludendo saggi/redações), che si sviluppano in 919 sottodomande graduate.
Multimodalità: Il 55,7% delle domande include immagini associate (mappe, grafici, diagrammi) essenziali per la risposta.
Pipeline di Annotazione: La costruzione ha previsto una pipeline in cinque fasi:
1. Raccolta Dati: Estrazione di domande e risposte attese ufficiali da PDF utilizzando una pipeline ibrida (pdfminer + OCR).
2. Pulizia dei Dati: Revisione umana da parte di quattro annotatori per correggere gli artefatti OCR, verificare la segmentazione e rimuovere duplicati/saggi.
3. Didascalia e Classificazione: Sono state generate didascalie per le immagini contestualizzate utilizzando Gemini 3.1 Flash Lite Preview (incorporando il testo della domanda), e la classificazione per materia è stata eseguita utilizzando Sabiá-4.
4. Generazione della Rubrica: Per ogni sottodomina, Sabià-4 ha generato criteri di rubrica strutturati e leggibili dalle macchine (item binari verificabili) basati sulle risposte attese ufficiali.
5. Tassonomia: Ogni domanda è stata annotata con sei tag di capacità cognitiva: Conoscenza Pregressa (PRK), Comprensione del Testo (TU), Comprensione dell'Immagine (IU), Ragionamento Matematico (MR), Conoscenza Brasiliana (BK) e Multilinguismo (ML).

Protocollo di Valutazione

Modelli: Sono stati valutati 21 LLM allo stato dell'arte (inclusi modelli API frontier e famiglie a pesi aperti).
Inferenza: I modelli sono stati interrogati tramite API con un prompt contenente la domanda, le didascalie delle immagini e lo scaffolding contestuale (sottodomande e risposte precedenti) per rispecchiare la natura sequenziale degli esami.
LLM-as-a-Judge: Le risposte sono state valutate da un LLM judge (Sabiá-4) rispetto ai criteri della rubrica generata. Il giudice produce un verdetto binario per ogni criterio, con il punteggio finale calcolato come il rapporto tra i criteri soddisfatti ( $m/k$ ) scalato su un intervallo 0–10.
Validazione: Il protocollo dell'LLM judge è stato validato rispetto a due revisori umani indipendenti su un campione di 200 annotazioni a livello di criterio. L'accordo LLM-umano (Cohen's $\kappa \approx 0,69$ ) è rientrato nell'intervallo "sostanziale", paragonabile all'accordo umano-umano ( $\kappa \approx 0,82$ ).

Risultati Chiave

Prestazioni Complessive

Potere Discriminativo: Il benchmark ha dimostrato una significativa dispersione delle prestazioni di 4,92 punti (variando da 4,18 a 9,10 su una scala 0–10).
Top Performer: I modelli frontier dominano le prime posizioni, con Gemini 3.1 Pro Preview che ottiene 9,10, seguito da GPT-5.4 (8,92) e GPT-5-mini (8,90).
Modelli Brasiliani: I modelli sviluppati domesticamente, Sabiá-4 e Sabiazinho-4, hanno raggiunto punteggi competitivi di 8,60 e 8,57, rispettivamente.
Bottom Performer: I modelli più piccoli a pesi aperti (ad esempio, LLaMA-3.2-11B Vision) hanno ottenuto punteggi significativamente più bassi (4,18).

Analisi delle Capacità e delle Materie

Dimensioni più Difficili: Il Ragionamento Matematico (MR) e la Comprensione dell'Immagine (IU) sono emersi come le capacità più impegnative. MR ha avuto la più alta deviazione standard tra i modelli (1,92), rendendolo il principale elemento differenziante tra i modelli. IU ha una media di 7,79.
Difficoltà delle Materie: Le materie STEM (Matematica, Fisica, Chimica) hanno prodotto punteggi medi inferiori rispetto alle discipline umanistiche (Filosofia, Sociologia, Storia), riflettendo la difficoltà che gli LLM incontrano con il ragionamento simbolico rispetto alla scrittura argomentativa.
Penalità Multimodale: Le domande contenenti immagini sono state, in media, 0,54 punti più difficili rispetto alle domande solo testuali in tutti i modelli, indicando una sfida persistente nell'integrazione multimodale anche per i modelli frontier.

Significato e Contributi

L'articolo rivendica cinque contributi primari:

Primo Benchmark Multimodale Open-Ended: BLUEX v2 è il primo benchmark derivato dagli esami di ammissione universitaria della seconda fase in Brasile, che copre 9 materie, 2 università e 4 anni di dati.
Annotazione Ricca: Il dataset include sei tag di capacità cognitiva e una pipeline di costruzione in quattro fasi, consentendo un'analisi diagnostica granulare e la piena riproducibilità.
Protocollo di Valutazione Validato: Gli autori propongono un protocollo scalabile di LLM-as-a-judge utilizzando rubriche generate, validato rispetto a valutatori umani per ottenere un accordo sostanziale, facilitando la valutazione senza annotazione manuale.
Valutazione Esaustiva: Lo studio valuta 21 modelli, rivelando modalità di fallimento coerenti nel ragionamento matematico e nella comprensione dell'immagine tra diverse famiglie di modelli.
Quantificazione della Sfida Multimodale: Il lavoro fornisce prove empiriche della "penalità multimodale", mostrando che le domande con immagini sono significativamente più difficili in un contesto accademico reale.

Gli autori concludono che, sebbene i modelli frontier prestino bene nell'argomentazione in portoghese, rimangono lacune significative nel ragionamento simbolico e nell'interpretazione visiva. Il benchmark funge da strumento per guidare i miglioramenti in queste aree specifiche e promuove la trasparenza nella valutazione degli LLM in portoghese. Il dataset, il codice e gli output sono pubblicamente disponibili.