AgentIF-OneDay: A Task-level Instruction-Following Benchmark for General AI Agents in Daily Scenarios

Sintesi Tecnica di "AgentIF-OneDay: A Task-level Instruction-Following Benchmark for General AI Agents in Daily Scenarios"

Problema
Sebbene gli agenti AI guidati da Large Language Model (LLM) abbiano dimostrato prestazioni eccezionali in domini verticali specializzati come la programmazione, la ricerca approfondita e la risoluzione di problemi complessi, la loro utilità negli scenari quotidiani e general-purpose rimane limitata e difficile da percepire per gli utenti comuni. Gli attuali benchmark di valutazione spesso danno priorità all'aumento della difficoltà del compito in isolamento o si concentrano su specifici settori verticali, fallendo nel catturare la diversità dei compiti agentici richiesti per il lavoro, la vita e l'apprendimento quotidiano. Inoltre, le valutazioni esistenti mancano spesso della diversità necessaria per riflettere i requisiti del mondo reale, come la gestione di vari allegati di file, l'inferenza di istruzioni implicite e l'impegno nel raffinamento iterativo. Esiste una lacuna critica nella valutazione se gli utenti comuni possano utilizzare efficacemente istruzioni in linguaggio naturale per completare compiti quotidiani diversificati e tangibili basati su file.

Metodologia
Per affrontare queste lacune, gli autori propongono AgentIF-OneDay, un benchmark di follow-up delle istruzioni a livello di task progettato per valutare agenti AI generali in scenari quotidiani. La metodologia comprende tre componenti principali:

1. Categorizzazione dei Task: Il benchmark struttura 104 task in tre categorie incentrate sull'utente:

   • Esecuzione di Workflow Aperto: Task che richiedono l'esecuzione precisa ed esaustiva di procedure operative esplicite e multi-step (ad es., pianificazione di viaggi con passaggi di verifica specifici).
   • Inferenza di Istruzioni Latenti: Task in cui gli agenti devono inferire regole o vincoli impliciti dagli allegati forniti (ad es., PDF, fogli di calcolo) e applicarli a nuovi scenari senza istruzioni testuali esplicite.
   • Raffinamento Iterativo: Task che simulano la collaborazione multi-turno in cui gli agenti devono modificare o espandere gli output esistenti in base al feedback dell'utente mantenendo la coerenza dello stato.

2. Costruzione dei Dati: Il dataset è stato costruito utilizzando un approccio ibrido:

   • Raccolta Umana: Esperti hanno sottoposto domande difficili, oggettive e resistenti alla ricerca all'interno dei loro domini.
   • Sintesi Automatica: È stata sviluppata una "Pipeline Agentica Automatica centrata sui File" per espandere il dataset. Questa pipeline estrae i workflow dai seed scritti dagli umani, cerca e analizza allegati specifici del dominio rilevanti (utilizzando strumenti come ChatGPT) e sintetizza nuovi task e rubriche che mantengono la struttura logica originale ma variano in contenuto e contesto.
   • Controllo Qualità: Un rigoroso processo di revisione multi-stadio, inclusa la validazione degli esperti e il filtraggio per l'indipendenza spazio-temporale e la verificabilità della risposta, ha garantito un'alta qualità dei dati.

3. Pipeline di Valutazione: Il benchmark impiega rubriche a livello di istanza con una pipeline di valutazione raffinata:

   • Scoring: Un sistema di punteggio binario distingue tra elementi "Bonus" (completamento con successo dei requisiti chiave) ed elementi "Penalty" (errori critici). I punteggi sono normalizzati in base al punteggio massimo ottenibile per ogni task.
   • Verifica: La pipeline utilizza un LLM-as-a-judge (specificamente Gemini-3-Pro) potenziato da strumenti per la verifica fattuale (web search), l'analisi visiva (per file PPT/HTML) e l'allineamento del contenuto dei file. Questo approccio ha raggiunto un tasso di accordo dell'80,1% con il giudizio umano.

Contributi Chiave

• Benchmark AgentIF-OneDay: Un dataset completo composto da 104 task e 767 punti di punteggio, coprendo i domini Lavoro, Vita e Studio, con diversi formati di file (PDF, Excel, SVG, ecc.) e conteggi di allegati.
• Nuovo Framework di Valutazione: L'introduzione di una categorizzazione tridimensionale (Workflow Aperto, Inferenza Latente, Raffinamento Iterativo) che mira specificamente alle sfumature dell'uso quotidiano degli agenti, andando oltre la semplice generazione di testo verso il completamento di task multi-modali basati su file.
• Pipeline di Sintesi Dati Automatica: Una metodologia scalabile per generare task agentici di alta qualità e logicamente coerenti combinando i seed umani con l'estrazione automatica del workflow e la sintesi degli allegati.
• Robustezza della Coerenza del Giudice: Dimostrazione che i modelli fondativi multimodali avanzati (Gemini-3-Pro) possono fungere da giudici affidabili per task complessi basati su file quando accoppiati con strumenti di verifica specifici, raggiungendo un'alta coerenza con i valutatori umani.

Risultati
Gli autori hanno testato quattro principali agenti AI generali: Manus, Genspark, ChatGPT-Agent e Minimax-Agent.

• Prestazioni Complessive: Manus ha ottenuto il punteggio complessivo più alto (0,645), seguito da vicino da Genspark (0,635) e ChatGPT-Agent (0,626). Minimax-Agent ha ottenuto un punteggio inferiore (0,562).
• Parità di Prestazione: Un risultato significativo è che gli agenti costruiti su API di LLM leader (che si affidano al prompt engineering e a strumenti esterni) hanno raggiunto tassi di successo comparabili ai sistemi basati su Agent RL personalizzati. Ciò suggerisce che la competenza agentica di base è diventata una commodity integrata nei moderni modelli fondativi.
• Specializzazione di Dominio:
  • ChatGPT-Agent eccelle negli scenari di Lavoro (72,18), posizionandosi come uno strumento di produttività primario.
  • Manus ha ottenuto le migliori prestazioni negli scenari di Vita (73,40), agendo come un assistente di vita efficace.
  • Genspark è in testa negli scenari di Studio (71,19), servendo come partner ideale per l'apprendimento.
• Dimensioni della Capacità:
  • L'Inferenza di Istruzioni Latenti è stata identificata come la capacità più debole tra tutti gli agenti, con anche i top performer che faticano a estrarre e applicare completamente le regole di formattazione implicite dagli allegati.
  • Genspark ha mostrato un Seguire le Istruzioni superiore (0,766) e una gestione dei Vincoli Negativi (0,824) eccellente.
  • Manus ha dimostrato la maggiore Fattualità (0,731) e robustezza attraverso le modalità di input (con prestazioni simili con e senza allegati).
  • Minimax-Agent ha mostrato la più forte Logica/Funzionalità (0,755) ma ha sofferto di un'alta latenza (1416,2s).

Significatività
Il paper sostiene che AgentIF-OneDay fornisce un riferimento empiricamente prezioso per comprendere le attuali forze e colli di bottiglia degli agenti AI negli scenari quotidiani. Evidenzia che, sebbene gli agenti stiano diventando capaci di gestire workflow complessi, rimangono sfide significative nell'inferenza di istruzioni latenti e nel mantenimento dello stato durante il raffinamento iterativo. Sottolinea un cambiamento nel panorama competitivo: il vantaggio futuro non risiede nel costruire competenze agentiche di base da zero, ma nell'ottimizzare i prodotti per esigenze specifiche dell'utente e nel sfruttare i dati degli utenti. Inoltre, i dati di istruzione di alta qualità e finemente annotati generati da questo benchmark hanno un grande potenziale come dati di addestramento per l'apprendimento per rinforzo, aiutando lo sviluppo di agenti general-purpose più robusti. Il lavoro valida inoltre la fattibilità dell'uso di modelli multimodali avanzati come giudici automatici per valutazioni complesse basate su file, impostando potenzialmente un nuovo standard per i futuri benchmark agentici.