AgentExpt: Automating AI Experiment Design with LLM-based Resource Retrieval Agent

1. Il Problema

Nella ricerca moderna sull'Intelligenza Artificiale, la selezione di baseline (metodi di riferimento) e dataset rappresenta un collo di bottiglia critico e ad alto rischio nel processo di progettazione sperimentale. Questa scelta non è meramente amministrativa, ma determina la validità, la riproducibilità e la comparabilità dei risultati scientifici.

Le sfide principali identificate sono:

• Proliferazione e Frammentazione: L'ecosistema di baseline e dataset è in rapida espansione, rendendo difficile identificare le opzioni più appropriate.
• Dipendenza dal Contesto: L'idoneità di una risorsa è intrinsecamente contestuale; ciò che funziona in un setting può essere fuorviante in un altro. Tuttavia, i metadati esistenti (es. descrizioni di portali come "Papers with Code") raramente catturano queste sfumature.
• Limiti delle Soluzioni Esistenti: I sistemi attuali soffrono di:
  1. Copertura limitata: Si basano su inventari curati manualmente che non riflettono l'uso reale nella letteratura.
  2. Modellazione insufficiente dell'idoneità: Trattano la pertinenza come semplice similarità testuale, ignorando come le risorse sono effettivamente posizionate e utilizzate nella pratica scientifica.
  3. Disaccoppiamento: Spesso selezionano baseline e dataset separatamente, ignorando la loro compatibilità congiunta e le catene di interazione nella letteratura.

2. Metodologia: Il Framework AgentExpt

AgentExpt è un framework completo che automatizza la raccomandazione di baseline e dataset attraverso tre componenti principali, basati su un agente di recupero risorse guidato da LLM (Large Language Models).

A. Costruzione di una Knowledge Base su Larga Scala

Per superare i limiti di copertura, gli autori hanno creato un database di conoscenza su larga scala e ad alta qualità:

• Dati: 108.825 articoli accettati da 10 conferenze AI di punta (NeurIPS, ICML, ICLR, ACL, ecc.) negli ultimi 10 anni.
• Estrazione: Una pipeline automatizzata (che utilizza strumenti come MinerU e LLM) estrae le sezioni sperimentali, identifica le menzioni di baseline e dataset, e le normalizza.
• Risultato: Un collegamento preciso tra 108.825 paper, 116.970 baseline e 68.316 dataset, con oltre 326.000 collegamenti paper-dataset e 543.000 collegamenti paper-baseline.

B. Recupero Potenziato dalla "Percezione Collettiva" (Collective Perception-Augmented Retrieval)

Questa fase mira a recuperare i candidati più promettenti integrando due prospettive:

1. Descrizione "First-Person": La descrizione auto-generata dall'autore dell'articolo o della risorsa (es. abstract).
2. Percezione "Third-Person" (Collettiva): L'evidenza estratta dai contesti di citazione di altri articoli che hanno usato quella risorsa.

• Meccanismo: Per ogni risorsa, vengono estratti i contesti di citazione dalle sezioni sperimentali dei paper successivi. Un LLM sintetizza questi contesti in un profilo d'uso aggregato (quando e perché viene usata, metriche, configurazioni tipiche).
• Training: Un modello di embedding (basato su Qwen) viene fine-tunato per rappresentare le risorse concatenando la descrizione originale con il profilo di percezione collettiva, migliorando il recupero basato sull'intento sperimentale piuttosto che sulla sola similarità lessicale.

C. Reranking Potenziato dal Ragionamento (Reasoning-Augmented Reranking)

Questa fase raffina la lista corta di candidati utilizzando la logica delle interazioni nella letteratura:

• Catene di Interazione: Vengono costruite catene strutturate del tipo Paper -> Dataset -> Paper -> Baseline (o viceversa). Queste catene fungono da evidenza di compatibilità sperimentale.
• Ragionamento: Un LLM (fine-tunato con Supervised Fine-Tuning, SFT) analizza queste catene di interazione per generare giustificazioni interpretabili.
• Obiettivo: Il modello non si limita a ordinare, ma spiega perché una certa combinazione è adatta, basandosi su prove di co-utilizzo nella comunità scientifica.

3. Risultati Sperimentali

Il framework è stato valutato confrontandolo con sette baseline rappresentative (inclusi metodi lessicali, classificatori supervisionati, retrieval denso e metodi basati su grafi).

• Performance: AgentExpt supera significativamente lo stato dell'arte (il miglior baseline precedente, SymTax).
  • Recall@20: +5.85% di miglioramento medio.
  • HitRate@10: +7.90% di miglioramento medio.
  • HitRate@5: +8.30% di miglioramento medio.
• Studi di Ablazione:
  • La rimozione della "Percezione Collettiva" causa il calo più drastico (circa -17% di Recall), confermando che l'evidenza di terze parti è cruciale.
  • La rimozione delle "Catene di Interazione" nel reranker riduce drasticamente l'HitRate, dimostrando che la capacità di ragionare sulle relazioni tra risorse è essenziale per la precisione.
• Efficienza: Il sistema mantiene una latenza di inferenza bassa (~0.367 secondi per query), rendendolo adatto a flussi di lavoro interattivi.

4. Contributi Chiave

1. Framework Unificato: AgentExpt è il primo sistema che automatizza la raccomandazione congiunta di baseline e dataset basandosi sull'idoneità contestuale.
2. Dataset su Larga Scala: La creazione di una knowledge base che collega oltre 100k paper alle loro risorse sperimentali reali, superando i limiti dei portali pubblici.
3. Percezione Collettiva: L'introduzione di un nuovo segnale di recupero che combina descrizioni auto-esplicative con l'uso reale documentato nella letteratura (segnale "third-person").
4. Ragionamento Interattivo: L'uso di catene di interazione (Paper-Baseline-Dataset) come prior per il ragionamento degli LLM, fornendo raccomandazioni non solo accurate ma anche spiegabili.

5. Significato e Impatto

AgentExpt rappresenta un passo avanti verso l'automazione affidabile della ricerca scientifica.

• Rigoroso e Riproducibile: Grounding le raccomandazioni su dati di citazione reali riduce il rischio di scelte arbitrarie o basate su hype, promuovendo la riproducibilità.
• Accessibilità: Abbassa la barriera d'ingresso per ricercatori junior o team piccoli, fornendo loro accesso a scelte sperimentali validate dalla comunità.
• Infrastruttura per Agenti AI: Fornisce un livello di fondazione per agenti AI autonomi che devono prendere decisioni sperimentali concrete e verificabili, spostandosi da euristiche fragili a scelte basate su evidenze.

In sintesi, il paper dimostra che integrare la "percezione della comunità" (come le risorse sono state effettivamente usate) e il ragionamento strutturato sulle interazioni scientifiche permette di automatizzare con successo una delle decisioni più critiche nella ricerca AI.