🤖 AI

AcademiClaw: When Students Set Challenges for AI Agents

Questo articolo presenta AcademiClaw, un benchmark bilingue di 80 compiti accademici complessi e reali tratti da elaborati studenteschi per valutare e diagnosticare i limiti degli attuali agenti AI nella gestione di sfide a lungo termine e multidisciplinari, rivelando che persino i modelli all'avanguardia raggiungono un tasso di successo del solo 55%.

Autori originali: Junjie Yu, Pengrui Lu, Weiye Si, Hongliang Lu, Jiabao Wu, Kaiwen Tao, Kun Wang, Lingyu Yang, Qiran Zhang, Xiuting Guo, Xuanyu Wang, Yang Wang, Yanjie Wang, Yi Yang, Zijian Hu, Ziyi Yang, Zonghan Zhou

Pubblicato 2026-05-06

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Junjie Yu, Pengrui Lu, Weiye Si, Hongliang Lu, Jiabao Wu, Kaiwen Tao, Kun Wang, Lingyu Yang, Qiran Zhang, Xiuting Guo, Xuanyu Wang, Yang Wang, Yanjie Wang, Yi Yang, Zijian Hu, Ziyi Yang, Zonghan Zhou, Binghao Qiang, Borui Zhang, Chenning Li, Enchang Zhang, Feifan Chen, Feng Jian, Fengyin Sun, Hao Qiu, Hao Zheng, Haoran Zhu, Hongyu Liu, Jianbin Deng, Jiaxin Song, Jiaying Chi, Jiayou Shi, Jie Fang, Jinghui Zhong, Jingyu Zhou, Jinze Li, Junfeng Yi, Junyan Yu, Junzhi Xue, Ni Song, Pengyi Chen, Qi Chen, Quansheng Li, Rui Tao, Shenghai Gong, Shenhang Lu, Tianqi Shen, Tianxiang Zhu, Tiehan Kang, Tingyu Li, Wendi Wu, Xiao Shen, Xiao Zhou, Xiaotao Zhang, Xinrong Li, Xuankun Yang, Xun Zhang, Yan Li, Ye Lu, Yi Wang, Yibo Zhou, Yichi Zhang, Yihao Sun, Yijun Huang, Yixin Zhu, Yixuan Wu, Yuchen Sun, Yue Wu, Yuheng Sun, Yukun Li, Yutian Tu, Yuxuan Qin, Yuzhuo Wu, Zeyu Li, Zhengyu Lou, Zhenning Ran, Zizhu He, Pengfei Liu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di aver costruito un assistente robot super-intelligente. Finora, lo hai testato chiedendogli di svolgere faccende semplici: "Ordina queste email", "Aggiungi questa riunione al mio calendario" o "Trova una ricetta per la pasta". Il robot è eccellente in questi compiti. È come un segretario personale molto efficiente.

Ma ecco il problema: non sappiamo davvero se questo robot può svolgere lavori reali e difficili. Può risolvere un problema matematico complesso? Può creare un videogioco da zero? Può riparare un chip informatico rotto? Fino ad ora, nessuno ha davvero posto al robot queste domande in modo equo e standardizzato.

È proprio questo di cui tratta il paper AcademiClaw. È un nuovo "esame finale" per gli agenti AI, progettato non da ricercatori in un laboratorio, ma da studenti universitari che stanno effettivamente lottando con i loro compiti e progetti.

Ecco una panoramica del paper utilizzando semplici analogie:

1. Il Problema: Il "Segretario" contro l"Ingegnere"

Pensa ai benchmark attuali per l'AI (test per l'AI) come a un esame per la patente di guida per un fattorino di alimentari. Verificano se sai parcheggiare in parallelo e fermarti al rosso. È utile, ma non ti dice se puoi guidare una Formula 1 o riparare un motore a reazione.

Il paper sostiene che i test esistenti per il sistema AI "OpenClaw" controllano solo abilità di livello "assistente" (come ordinare file). Lasciano un enorme vuoto: abilità di livello universitario. Queste sono le attività profonde e complesse che richiedono anni di studio, come dimostrare un teorema matematico o addestrare un modello AI complesso.

2. La Soluzione: Un Esame "Sottomesso dagli Studenti"

Invece che i ricercatori inventino problemi finti, gli autori hanno chiesto a 230 studenti universitari di sottoporre problemi reali che hanno affrontato.

Lo Scenario: Uno studente cerca di usare un AI per aiutare con un progetto di programmazione difficile o una tesi di ricerca. L'AI fallisce o si blocca. Lo studente dice: "Questo è troppo difficile per l'AI".
Il Filtro: Esperti hanno revisionato queste 230 sottomissioni e scelto le migliori 80.
Il Risultato: Una suite di test che copre 25 campi diversi, dalla matematica di livello Olimpico alla fisica dei videogiochi pesante per GPU e al debug di software complesso.

L'Analogia: Immagina una gara di chef. Invece che i giudici chiedano agli chef di "tritare una cipolla", gli studenti (i clienti) dicono: "Ho bisogno di una cena di cinque portate che utilizzi ingredienti da tre continenti diversi, cucinata in uno stile specifico, e la voglio pronta in 40 minuti". È questo il livello di difficoltà che AcademiClaw introduce.

3. L'Ambiente di Test: La "Sabbia Sicura"

Per assicurarsi che l'AI non rompa nulla o baratti, ogni compito avviene in una sabbia digitale (un ambiente informatico bloccato chiamato contenitore Docker).

All'AI viene assegnato un compito.
Può leggere file, scrivere codice, eseguire programmi e persino usare un browser web.
Deve fare tutto da solo, passo dopo passo.
Dettaglio Cruciale: Alcuni compiti richiedono una GPU (una potente scheda grafica utilizzata per matematica complessa e addestramento AI). È come chiedere al robot di sollevare un peso pesante; la maggior parte dei test precedenti gli chiedeva solo di sollevare una piuma.

4. Come Viene Valutato: Il "Giudice Multistrato"

Non puoi semplicemente chiedere: "Ha finito?" perché la risposta potrebbe essere "Sì, ma il codice è rotto".
Il paper utilizza un sistema di valutazione 6-in-1:

Corrispondenza di Pattern: Ha scritto le parole giuste?
Esecuzione del Codice: Il programma funziona davvero senza crashare?
Giudice AI: Un'altra AI legge il rapporto e lo valuta come un insegnante.
Vision AI: Può "vedere" se un grafico o un'immagine sembrano corretti?
Test del Browser: Ha davvero costruito un sito web funzionante?
Controllo della Struttura: Il formato del file è corretto (come un JSON o un CSV)?

Hanno anche un Audit di Sicurezza (come una guardia di sicurezza) per assicurarsi che l'AI non abbia tentato di cancellare file importanti o hackerare cose che non dovrebbe.

5. I Risultati: Il "Controllo di Realtà"

Gli autori hanno testato sei dei modelli AI più intelligenti disponibili (come Claude, GPT e Gemini) su questo nuovo esame.

Il Punteggio: Anche il miglior AI ha superato solo il 55% dei compiti. Ciò significa che hanno fallito quasi la metà delle volte su problemi che gli studenti universitari hanno trovato difficili.
La Trappola del "Pensare Troppo": Il paper ha scoperto qualcosa di strano. Alcune AI hanno utilizzato 5 volte più "potenza cerebrale" (token) di altre, ma non hanno ottenuto risultati migliori.
- Analogia: Immagina due studenti che sostengono un esame. Lo studente A legge attentamente la domanda, pensa per un minuto e scrive una risposta perfetta. Lo studente B va in panico, scrive 10 pagine di chiacchiere senza senso e sbaglia la risposta. Il paper ha scoperto che più sforzo non equivale a migliore qualità.
Personalità Diverse: Le AI avevano diverse "personalità":
- Il Lettore: (Claude) Legge tutto prima, pensa, poi agisce. Alta qualità, ma più lento.
- Il Martello: (Gemini) Inizia semplicemente a colpire le cose (eseguendo codice) immediatamente, sperando che funzioni. Veloce, ma spesso rompe le cose e fallisce i controlli di sicurezza.
- Il Minimalista: (GPT) Fa il minimo indispensabile, ma ottiene risultati sorprendentemente buoni.

6. La Grande Conclusione

Il paper conclude che, sebbene l'AI sia eccellente nel fare la "segretaria digitale", è ancora molto incerta quando le viene chiesto di fare la "ricercatrice" o l'"ingegnere".

Il Divario: C'è una enorme disconnessione tra ciò che l'AI può fare oggi e ciò che richiede il lavoro accademico e professionale reale.
Il Problema di Sicurezza: L'AI che ha tentato di "indovinare e verificare" la sua strada attraverso i problemi (Gemini) è stata anche quella più propensa a violare le regole di sicurezza.
Il Futuro: Gli autori sperano che questo nuovo test (AcademiClaw) aiuterà gli sviluppatori a costruire un AI effettivamente capace di risolvere i problemi difficili e complessi che affrontiamo nel mondo reale, non solo quelli semplici.

In breve: Il paper ha costruito un test in "modalità difficile" per l'AI utilizzando i compiti reali degli studenti. I risultati mostrano che anche le AI più intelligenti stanno ancora faticando con il lavoro profondo e complesso del mondo reale, e l'uso di più potenza di calcolo non le rende necessariamente più intelligenti.

Riepilogo Tecnico: AcademiClaw

Enunciato del Problema

Mentre l'ecosistema OpenClaw si è evoluto rapidamente come un framework open-source leader per agenti autonomi, le esistenti piattaforme di valutazione all'interno di questo ecosistema sono rimaste limitate a compiti di livello assistente (ad esempio, triage delle email, gestione del calendario, impostazione di progetti). Questi compiti, sebbene praticamente utili, mancano della profondità di competenza settoriale e del ragionamento multi-step sostenuto richiesti per flussi di lavoro accademici e professionali reali. Di conseguenza, esiste un divario critico nella comprensione delle capacità degli agenti OpenClaw quando affrontano problemi complessi e ricchi di conoscenza, come dimostrazioni matematiche, addestramento di modelli intensivo su GPU, debug cross-framework e analisi di dati scientifici. Le attuali piattaforme di valutazione non riescono a valutare sistematicamente gli agenti su queste sfide di "livello accademico", lasciando la comunità priva di segnali diagnostici azionabili per far progredire gli agenti oltre il loro attuale ambito orientato all'assistenza.

Metodologia

Raccolta dei Compiti: Un Approccio Bottom-Up

A differenza delle tradizionali piattaforme di valutazione in cui i compiti sono progettati top-down dai ricercatori, AcademiClaw adotta una strategia di raccolta bottom-up basata sugli utenti.

Fonte: 230 compiti candidati sono stati sottoposti da studenti universitari basandosi sui loro reali flussi di lavoro accademici (compiti a casa, progetti di ricerca, competizioni, progetti personali) in cui hanno riscontrato inefficacia degli attuali agenti AI.
Filtraggio: Un rigoroso processo di revisione esperta in due fasi ha distillato questi candidati in un set finale di 80 compiti di alta qualità. Gli esperti hanno valutato i compiti in base alla chiarezza del prompt, alla correttezza della griglia di valutazione, alla riproducibilità del punteggio, alla calibrazione della difficoltà e all'equilibrio settoriale.
Ambito: Il dataset finale copre 25+ domini professionali, che vanno dalle dimostrazioni dell'Olimpiade Matematica Cinese (CMO) e dai problemi dell'Olimpiade Internazionale di Linguistica (IOL) fino all'apprendimento per rinforzo intensivo su GPU e al debug di sistemi full-stack. Include 16 compiti intensivi su GPU che richiedono l'esecuzione CUDA, una caratteristica assente nelle precedenti piattaforme di valutazione OpenClaw.
Natura Bilingue: La piattaforma di valutazione è bilingue (49 in inglese, 31 in cinese), con compiti in cinese nativamente cinesi e che richiedono competenze radicate nella cultura (ad esempio, l'adattamento della poesia Tang, la comprensione della codifica Shuangpin) piuttosto che una semplice traduzione delle istruzioni.

Ambiente di Esecuzione

Isolamento: Ogni compito viene eseguito all'interno di una sandbox Docker isolata con una gerarchia di immagini a due livelli (ambiente base CPU/GPU + dipendenze per compito).
Framework Agente: I compiti vengono risolti utilizzando il framework agente OpenClaw, che fornisce una palette unificata di strumenti inclusi operazioni sui file, esecuzione shell, ricerca web e automazione browser headless.
Protocollo di Valutazione: Gli agenti ricevono un singolo tentativo per compito senza riprove. La griglia di valutazione viene mantenuta riservata all'agente durante l'esecuzione.

Framework di Valutazione Multidimensionale

AcademiClaw supera le metriche binarie di passaggio/fallimento impiegando una griglia di valutazione multidimensionale (scala 0–100) che combina sei tecniche di verifica complementari:

Corrispondenza di Pattern: Regex, rilevamento di parole chiave e parsing AST.
Esecuzione del Codice: Compilazione ed esecuzione di test unitari contro soluzioni di riferimento.
LLM-as-Judge: Valutazione di output aperti (rapporti, scrittura creativa) con fallback euristici deterministici.
Valutazione Vision LLM: Confronto di grafica renderizzata o screenshot GUI rispetto a riferimenti.
Test Browser End-to-End: Utilizzo di Playwright per interagire con elementi web dinamici.
Validazione Output Strutturati: Controlli schema JSON, verifica CSV e parsing BibTeX.

Inoltre, un audit di sicurezza a cinque categorie (S1–S5) valuta operazioni distruttive, fughe di informazioni, conformità ai confini, escalation dei privilegi e rischi della catena di approvvigionamento.

Contributi Chiave

Prima Piattaforma di Valutazione di Livello Accademico per OpenClaw: AcademiClaw è la prima piattaforma di valutazione nell'ecosistema a mirare alla complessità di livello accademico, composta da 80 compiti provenienti interamente da studenti universitari piuttosto che da ricercatori. Include in modo unico 16 compiti intensivi su GPU.
Nuovo Framework di Valutazione: Il documento introduce un sistema di punteggio multidimensionale che combina sei tecniche di verifica e un audit di sicurezza a cinque categorie, fornendo segnali diagnostici granulari oltre le metriche aggregate.
Analisi Empirica Sistematica: Gli autori forniscono una valutazione completa di sei modelli all'avanguardia (Claude Opus 4.6, Claude Sonnet 4.6, GPT-5.4, Gemini 3.1 Pro, Qwen3.5-397B e MiniMax M2.7), rivelando fenomeni nascosti da piattaforme di valutazione più leggere.

Risultati Sperimentali

Prestazioni Complessive

Anche il modello con le prestazioni migliori, Claude Opus 4.6, ha raggiunto solo un tasso di passaggio del 55% (punteggio ≥75) con un punteggio medio di 71,9. Il divario tra il modello più forte e quello più debole (MiniMax M2.7) è stato di 8,8 punti nel punteggio medio, ma il divario nel tasso di passaggio è stato più ampio (55,0% contro 37,5%). Notabilmente, 23 dei 80 compiti (28,8%) hanno sconfitto tutti e sei i modelli, con 8 compiti in cui ogni modello ha ottenuto un punteggio inferiore a 50.

Pattern a Livello di Dominio e Compito

Dominanza della Difficoltà del Compito: La variazione nelle prestazioni tra le categorie di compiti (differenza di 26,3 punti) ha superato di gran lunga la variazione tra i modelli (differenza di 8,8 punti). Il Ragionamento STEM è stata la categoria più impegnativa (punteggio medio ~50,6), mentre Linguaggio e Creatività è stata la più semplice (punteggio medio ~76,9).
Confini delle Capacità: Compiti specifici hanno rivelato confini netti delle capacità. Ad esempio, su un compito di estrazione dell'albero genealogico da Cent'anni di solitudine, i punteggi sono variati da 86–92 per alcuni modelli a soli 3 per altri (un divario di 90 punti). Allo stesso modo, un compito di migrazione da TensorFlow a PyTorch ha portato a un fallimento catastrofico (punteggio 0) per GPT-5.4 mentre altri hanno ottenuto 74–90.

Fenotipi Comportamentali

Lo studio ha identificato tre strategie comportamentali distinte tra i modelli:

Leggi-Prima (Claude Opus 4.6): Prioritizza la lettura dei file (41% delle chiamate agli strumenti) prima dell'esecuzione. Questa strategia ha prodotto la qualità più alta ("premio per la comprensione") ma ha richiesto un uso moderato di token.
Esegui-Prima (Gemini 3.1 Pro): Si affida pesantemente all'esecuzione shell (74,3% delle chiamate) con un approccio per tentativi ed errori. Ciò ha portato al consumo di token più alto (2,8M token, 5,4 volte più di GPT-5.4) ma a una qualità inferiore e al punteggio di sicurezza più basso (74,9), principalmente a causa di violazioni dei confini.
Minimalista (GPT-5.4): Utilizza il minor numero di chiamate agli strumenti (19) e token (525K) con il tempo di esecuzione più breve, raggiungendo una qualità competitiva attraverso inferenza interna.

Disconnessione Token-Qualità

Una scoperta critica è la correlazione quasi nulla ( $r = -0.03$ ) tra consumo di token e qualità del compito tra tutti i modelli. Ciò suggerisce che gli agenti attuali mancano di meccanismi efficaci per determinare quando smettere di iterare, portando a penalità da "sovra-pensiero" in cui uno sforzo computazionale aumentato non si traduce in soluzioni migliori.

Analisi della Sicurezza

Sicurezza e qualità sono state trovate in gran parte indipendenti ( $|r| < 0.29$ ). Tuttavia, la conformità ai confini (S3) è stata la dimensione decisiva della sicurezza, mostrando un divario di 53 punti tra i modelli più sicuri (modelli Claude, ~84) e quelli meno sicuri (Gemini, 31,6). Ciò correla con il fenotipo "esegui-prima", dove frequenti esecuzioni shell aumentano il rischio di accedere a file al di fuori dello spazio di lavoro designato.

Significato e Affermazioni

Gli autori posizionano AcademiClaw come un'evoluzione necessaria nella valutazione degli agenti, spostando il focus dalle routine di livello assistente alle esigenze complesse e aperte della pratica accademica e professionale reale.

Valore Diagnostico: La piattaforma di valutazione fornisce segnali granulari che rivelano specifici gap di capacità (ad esempio, ragionamento formale rispetto a compiti generativi) e inefficienze comportamentali (ad esempio, la disconnessione token-qualità) che le metriche aggregate oscurano.
Risorsa per la Comunità: Rendendo open-source i dati e il codice, gli autori mirano a guidare il progresso verso agenti più capaci e versatili, aiutando la comunità OpenClaw a superare il suo attuale ambito orientato all'assistenza.
Ambito Modesto: Gli autori riconoscono le limitazioni, notando che il dataset attuale proviene da studenti di laurea in informatica di una singola università e si basa su valutazioni a singolo tentativo. Inquadrano la piattaforma di valutazione come un passo fondamentale verso protocolli di valutazione più completi, multidisciplinari e multi-tentativo in futuro.