Relay-Bench: Evaluating LLMs on Multi-Domain Reasoning Chains
Relay-Bench è un benchmark olistico, esclusivamente testuale, progettato per valutare i grandi modelli linguistici su catene di ragionamento multi-dominio presentando problemi composti non saturi che richiedono l'integrazione di diverse abilità come la programmazione, la matematica e la ricerca web all'interno di un singolo prompt, dove il modello leader GPT-5.5 (xHigh) raggiunge un punteggio del 43,3%.
Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo
Immaginate un mondo in cui il vostro assistente intelligente preferito non sia solo un bot di curiosità o un calcolatore di codice, ma un vero mago del multitasking. Nel campo in rapida evoluzione dell'Intelligenza Artificiale, i ricercatori costruiscono costantemente dei "benchmark" — che sono essenzialmente dei test standardizzati — per vedere quanto siano davvero intelligenti questi cervelli digitali. Per molto tempo, questi test sono stati come materie scolastiche separate: un esame per la matematica, un altro per la storia e un terzo per la programmazione. Ma la vita reale non funziona così. Quando chiedete a un essere umano di pianificare un viaggio, non si limita a calcolare le distanze; controlla il meteo, legge le recensioni, prenota un hotel e magari scrive anche un'email divertente a un amico, tutto in una volta sola. Questo articolo approfondisce un angolo specifico della ricerca sull'IA chiamato "catene di ragionamento" (reasoning chains), dove l'obiettivo è vedere se un modello può gestire molti tipi diversi di compiti contemporaneamente senza far cadere la palla. La grande domanda che interessa a tutti è: questi modelli di IA possono gestire i problemi disordinati, complicati e multi-step del mondo reale, o si confondono e si arrendono quando le cose diventano troppo affollate?
Entra in scena Relay-Bench, un nuovo test super impegnativo progettato per vedere se i modelli di IA possono correre una "staffetta" della mente. Invece di chiedere a un modello di risolvere un problema di matematica o scrivere una poesia, i creatori di questo test concatenano una intera catena di compiti diversi — come risolvere un enigma matematico, trovare un fatto specifico sul web, scrivere un po' di codice e decodificare un messaggio segreto — tutto all'interno di un unico, enorme prompt. Pensatelo come un livello di un videogioco in cui dovete saltare sopra un baratro, risolvere un indovinello per aprire una porta e poi combattere un boss, il tutto senza premere il tasto "reset". I ricercatori hanno costruito 31 di queste sfide complesse, alcune delle quali sono così lunghe e sature di informazioni false che sembrano leggere un romanzo solo per trovare un singolo numero. Hanno anche aggiunto uno strato di "codice segreto", dove ogni parola nelle istruzioni è sostituita da un strano codice di tre lettere, costringendo l'IA a decodificare il messaggio prima ancora di poter iniziare a risolvere i problemi.
Quando hanno sottoposto i tre migliori modelli di IA dell'epoca (GPT-5.5, Gemini 3.1 Pro e Claude Opus 4.7) a questa prova di forza, i risultati sono stati un po' scioccanti. Persino il modello più intelligente, GPT-5.5, ha ottenuto solo circa il 43,3% delle risposte corrette. È meno della metà! Gli altri modelli hanno ottenuto punteggi ancora più bassi, con uno di essi che è riuscito solo al 16,7%. L'articolo suggerisce che, sebbene questi modelli di IA stiano diventando molto bravi nei singoli compiti, faticano significativamente quando viene chiesto loro di concatenare diverse abilità, specialmente quando le istruzioni sono confuse o il compito è molto lungo. Infatti, il test era così difficile che molti modelli si sono semplicemente arresi o sono rimasti bloccati in loop, incapaci di finire la corsa.
I ricercatori hanno anche scoperto che questi modelli a volte "allucinano", che è un modo elegante per dire che inventano risposte quando non conoscono la soluzione. Un modello, Claude Opus 4.7, è stato molto cauto; si è rifiutato di rispondere interamente a molte delle domande codificate, probabilmente perché i suoi filtri di sicurezza erano troppo severi. Un altro modello, Gemini 3.1, ha cercato di indovinare più spesso ma ha finito per avere più risposte errate. Lo studio evidenzia che gli attuali modelli di IA sono ancora lontani dall'essere gli esperti universali che speriamo siano. Sono come studenti brillanti che possono eccellere in un test di matematica, ma potrebbero andare nel panico se chiedete loro di fare matematica mentre contemporaneamente traducono una poesia e cercano una ricetta. Gli autori suggeriscono che potrebbe volerci un altro anno o due prima che i modelli di IA diventino abbastanza bravi da superare costantemente questo tipo di test a "staffetta", e avvertono che man mano che i modelli diventeranno più intelligenti, questi test dovranno diventare ancora più difficili per stare al passo.
Sommerso dagli articoli nel tuo campo?
Ricevi digest giornalieri degli articoli più recenti corrispondenti alle tue parole chiave di ricerca — con riassunti tecnici, nella tua lingua.