KMMMU: Evaluation of Massive Multi-discipline Multimodal Understanding in Korean Language and Context

Il paper introduce KMMMU, un benchmark nativo in coreano composto da 3.466 domande multimodali su nove discipline, progettato per valutare le capacità di comprensione dei modelli AI in contesti culturali e istituzionali locali, rivelando significative lacune nelle prestazioni attuali dovute alla difficoltà nel mappare convenzioni specifiche e nel richiamare conoscenze localizzate.

L'essenziale

Immagina che le Intelligenze Artificiali (AI) siano come studenti universitari super-dotati. Fino a poco tempo fa, questi studenti erano stati addestrati quasi esclusivamente su libri di testo scritti in inglese e basati su regole americane o europee. Sapevano risolvere problemi di fisica, riconoscere gatti nelle foto e scrivere saggi perfetti... ma solo nel loro "dialetto" originale.

Il problema? Se chiedi a uno di questi studenti di risolvere un problema di ingegneria basato sulle leggi stradali della Corea del Sud, o di interpretare un diagramma elettrico usando le norme tecniche coreane, spesso si blocca. Non è che non sia intelligente; è che non conosce le "regole del gioco" locali.

Cos'è KMMMU?

KMMMU è come un esame di ammissione universitario nazionale, ma creato apposta per la Corea del Sud.

• Non è una traduzione: Non è stato preso da un libro americano e tradotto. È nato in Corea, con domande scritte in coreano, basate su esami reali (concorsi pubblici, certificazioni tecniche, olimpiadi scientifiche).
• È un test "multimodale": Chiede all'AI non solo di leggere, ma di guardare. Deve capire grafici, circuiti elettrici, mappe, foto termiche e documenti legali. È come se l'esame avesse sia la parte scritta che la parte pratica di laboratorio.
• È difficile: Contiene oltre 3.400 domande. Alcune sono "normali", altre sono un incubo (il "Hard Subset") perché richiedono conoscenze molto specifiche e locali.

Cosa hanno scoperto? (I Risultati)

Gli autori hanno fatto fare questo esame ai migliori "studenti" AI del mondo (sia quelli gratuiti che quelli a pagamento). Ecco cosa è successo:

1. Nessuno ha preso il 10: Anche il modello AI più potente al mondo ha preso circa il 52% di risposte corrette sulle domande più difficili. Per un umano, sarebbe un brutto voto; per un'AI, significa che c'è ancora molta strada da fare.
2. Il problema non è la "logica", ma la "cultura": L'errore più grande non è che l'AI non sappia fare i calcoli o ragionare. L'errore è che non conosce le regole locali.
   • Esempio: Immagina di chiedere all'AI: "Qual è il raggio di sterzata minimo per un'auto piccola in Corea?". L'AI potrebbe ragionare perfettamente sulla fisica dell'auto, ma sbagliare la risposta perché non sa che in Corea esiste una legge specifica che definisce "auto piccola" in modo diverso dagli USA o dall'Europa. È come se l'AI sapesse guidare, ma non conoscesse il codice della strada del paese in cui si trova.
3. Le domande "Coreane" sono il tallone d'Achille: C'è una parte dell'esame fatta apposta per testare conoscenze puramente coreane (leggi, amministrazione, cultura). Qui, anche i modelli più grandi hanno preso voti molto bassi, mostrando un divario enorme rispetto alle domande universali.

Perché è importante?

Fino ad ora, testavamo le AI solo su "cose inglesi". Questo è come giudicare la bravura di un cuoco italiano solo facendogli cucinare hamburger. Se vuoi sapere se è un vero chef, devi fargli preparare la pasta o il risotto.

KMMMU ci dice che:

• Le AI attuali sono brave a "vedere" e "leggere", ma sono spesso cieche alle sfumature culturali e legali di paesi specifici.
• Per rendere le AI utili nel mondo reale (ad esempio, per aiutare un avvocato coreano o un ingegnere giapponese), non basta farle diventare più grandi o più veloci. Bisogna insegnar loro le regole locali, i termini tecnici specifici e le norme culturali.

In sintesi

Pensa a KMMMU come a uno specchio che mostra dove le Intelligenze Artificiali sono ancora un po' "straniere". Ci dice che per diventare davvero intelligenti e affidabili in tutto il mondo, le AI devono smettere di essere solo "esperte di inglese" e iniziare a studiare le lingue, le leggi e le tradizioni di ogni cultura, proprio come un vero studente che vuole laurearsi in un paese straniero.

Sommario tecnico

1. Il Problema

Nonostante i recenti progressi dei Modelli Linguistici Multimodali (MLLM), le valutazioni esistenti presentano lacune significative quando applicate a contesti non inglesi, in particolare a quelli culturalmente e istituzionalmente radicati.

• Limiti degli attuali benchmark: La maggior parte dei benchmark è incentrata sull'inglese o deriva da dataset tradotti. Questi approcci falliscono nel catturare convenzioni locali, standard ufficiali, formati visivi specifici delle discipline e materiali visivi densi di informazioni tipici dei contesti non occidentali.
• Il caso coreano: Esistono già alcuni benchmark in coreano, ma sono spesso limitati per copertura, saturi per i modelli attuali o focalizzati su compiti specifici (es. solo VQA o solo ragionamento medico). Manca un benchmark su larga scala, nativo e progettato per valutare la comprensione multimodale a livello di esperto, che rifletta la complessità delle istituzioni e della cultura sudcoreana.

2. Metodologia e Costruzione del Dataset

Gli autori hanno sviluppato KMMMU, un benchmark nativo in lingua coreana, seguendo un processo rigoroso di raccolta e filtraggio:

• Raccolta Dati: Il dataset è composto da 3.466 domande estratte da fonti di valutazione ufficiali e ad alto rischio in Corea del Sud, tra cui:
  • Esami per il reclutamento nella pubblica amministrazione (PSAT).
  • Qualifiche tecniche nazionali (NTQ).
  • Esami di competenza nazionale (NCS).
  • Olimpiadi accademiche.
  • Nota: I dati sono stati raccolti da documenti originali (PDF) e non da dataset web tradotti, per evitare contaminazione e garantire autenticità culturale.
• Processo di Pulizia e Verifica:
  • Raccolta iniziale di circa 68.000 istanze grezze.
  • Utilizzo di sistemi OCR (MinerU-2.5) e successiva verifica manuale da parte di 5 annotatori nativi per correggere formule LaTeX, verificare i ritagli delle immagini e scartare domande illeggibili.
• Filtraggio Adversarial: Per garantire la difficoltà del benchmark, è stata applicata una pipeline di filtraggio adversarial. Le domande risolvibili correttamente da uno o più modelli base (inclusi Phi-3.5-Vision, InternVL-3.5, Gemini-2.5) sono state rimosse. Questo ha lasciato solo le domande che rappresentano una sfida reale per i modelli attuali.
• Struttura del Dataset:
  • Discipline: 9 macro-discipline (Ingegneria, Scienze Naturali, CS & IT, Business, Scienze Sociali, Matematica, Diritto, Arte, Generale).
  • Modalità Visive: 9 categorie (Diagrammi, Tabelle, Testo/Documenti, Foto, Mappe, ecc.).
  • Formato: Domande a scelta multipla (singola e multipla risposta) e formato aperto (numerico/testuale).
  • Sottogruppi Speciali:
    • Korean-Specific: 300 domande che richiedono conoscenze istituzionali, legali o culturali specifiche della Corea (es. leggi sulla zonizzazione, terminologia amministrativa).
    • Hard Subset: 627 domande (18% del totale) che sono state fallite da tre modelli baseline avanzati (Gemma-3, Qwen3-VL-Thinking, GPT-5-nano).

3. Contributi Chiave

1. Primo Benchmark Nativo Coreano di Livello Esperto: KMMMU è il primo benchmark su larga scala progettato specificamente per valutare la comprensione multimodale in contesti istituzionali e culturali coreani, andando oltre la semplice traduzione di dataset inglesi.
2. Analisi delle Lacune Culturali: Il benchmark introduce una classificazione esplicita per le domande "Korean-specific", permettendo di misurare il divario tra modelli multilingue generici e la capacità di gestire conoscenze locali istituzionali.
3. Diagnosi dei Fallimenti: Fornisce un'analisi dettagliata degli errori, distinguendo tra fallimenti nel ragionamento profondo e fallimenti nella mappatura convenzione-etichetta, nell'induzione simbolica e nel recupero di conoscenze localizzate.
4. Testbed per Sistemi Affidabili: Offre una piattaforma per sviluppare MLLM più robusti per compiti reali in contesti non inglesi, dove la precisione normativa e culturale è critica.

4. Risultati Sperimentali

Gli autori hanno valutato una vasta gamma di modelli (open-source e proprietari) su KMMMU:

• Prestazioni Generali: I modelli attuali sono lontani dalla robustezza necessaria.
  • Il modello open-source più performante ha raggiunto solo il 42,05% di accuratezza sull'intero set.
  • Il modello proprietario migliore (Gemini-3-Pro) ha raggiunto il 52,42% solo sul Hard Subset.
• Impatto della Scala e del Ragionamento:
  • L'aumento delle dimensioni del modello migliora le prestazioni, ma i guadagni derivanti dal "ragionamento esplicito" (Chain-of-Thought) sono irregolari e spesso modesti.
  • Il ragionamento aiuta principalmente nella composizione della risposta e nel tracciamento dei vincoli, ma non risolve carenze di conoscenza di base o di allineamento visivo.
• Divario nelle Domande Specifiche Coreane:
  • Esiste un divario significativo (fino al 13,43%) tra le prestazioni su domande generali e quelle specifiche coreane, anche per modelli multilingue avanzati.
  • I modelli specializzati in coreano (es. VARCO-VISION) non hanno mostrato vantaggi significativi rispetto ai modelli multilingue su questo compito specifico, suggerendo che la specializzazione linguistica non è sufficiente senza conoscenze istituzionali.
• Colli di Bottiglia Disciplinari:
  • Le discipline come Arte & Design e Generale rimangono i punti più deboli, dove le prestazioni non migliorano significativamente nemmeno con modelli più grandi.
  • Gli errori in queste aree derivano spesso da una mappatura errata tra convenzioni visive e etichette tecniche specifiche, non da una mancata percezione dell'immagine.

5. Significato e Implicazioni

Il paper dimostra che la forte capacità multimodale generale non si trasferisce automaticamente a contesti culturali e istituzionali specifici.

• Natura degli Errori: I fallimenti non sono dovuti principalmente a una mancanza di profondità nel ragionamento, ma a:
  • Debole mappatura tra convenzioni locali ed etichette.
  • Scarsa induzione simbolica few-shot (riconoscimento di regole da pochi esempi).
  • Mancato recupero di conoscenze localizzate (es. leggi coreane, standard tecnici).
  • Incomprensione degli standard specifici del dominio.
• Futuro della Ricerca: KMMMU evidenzia la necessità di addestrare modelli su materiali tecnici e normativi specifici per cultura e di sviluppare strategie di valutazione che vadano oltre i benchmark inglesi. Il dataset è disponibile pubblicamente per favorire lo sviluppo di sistemi multimodali più affidabili e culturalmente consapevoli.

In sintesi, KMMMU stabilisce un nuovo standard per la valutazione dei modelli AI in contesti non occidentali, rivelando che la vera sfida per l'AGI multimodale risiede nella capacità di navigare le complessità delle norme, delle convenzioni e delle conoscenze locali, piuttosto che nella semplice risoluzione di problemi logici astratti.