Eliot: Interactively $\underline{E}$xploring Fast-Changing Scientific $\underline{Li}$terature Trends with $\underline{O}$nline Da$\underline{t}$a and Learning

Riepilogo Tecnico: Eliot – Esplorazione Interattiva delle Tendenze della Letteratura Scientifica in Rapida Evoluzione

Enunciato del Problema
La rapida crescita dell'editoria scientifica rende sempre più difficile tracciare l'evoluzione delle aree di ricerca in rapido movimento. Sebbene i motori di ricerca esistenti e gli assistenti basati su Modelli Linguistici di Grande Dimensione (LLM) recuperino o riassumano i documenti, spesso oscurano le decisioni sottostanti relative alla selezione del corpus, all'organizzazione e al collegamento con i modelli temporali. Gli attuali assistenti per la letteratura presentano frequentemente liste classificate o sintesi generate opache che nascondono le prove alla base delle tendenze. I ricercatori necessitano di un flusso di lavoro ispezionabile per verificare quali documenti supportano i modelli temporali apparenti, comprendere come i documenti si separano in temi e identificare direzioni emergenti senza affidarsi a tassonomie fisse mantenute da esperti o a script specifici del dominio.

Metodologia
Gli autori presentano Eliot, un sistema interattivo pubblicamente distribuito progettato per l'esplorazione tracciabile della letteratura scientifica in evoluzione utilizzando dati online. Il sistema opera su base di query, recuperando documenti da arXiv invece di affidarsi a set di dati di riferimento fissi.

• Pipeline del Sistema:

  1. Recupero: Gli utenti inseriscono termini di query espliciti (parole chiave/frasi), filtri di categoria, intervalli di date e criteri di ordinamento. Il sistema recupera i documenti pertinenti da arXiv, concatenando titoli e abstract per l'elaborazione.
  2. Rappresentazione e Clustering: Il corpus recuperato è rappresentato utilizzando embedding testuali. Il sistema supporta sia il clustering automatico (inferenza della struttura) sia il clustering controllato dall'utente (specificazione del numero di cluster).
  3. Etichettatura: A ciascun cluster vengono assegnate parole chiave rappresentative utilizzando TF-IDF basato su classi (c-TF-IDF), ispirato a BERTopic, per riassumere le caratteristiche distintive del gruppo.
  4. Visualizzazione: L'interfaccia visualizza le parole chiave dei cluster, un grafico a dispersione temporale che mostra la distribuzione dei documenti negli anni di pubblicazione e liste paginate di documenti con collegamenti alle fonti.
  5. Tracciabilità: Un obiettivo fondamentale di progettazione è l'auditabilità; gli utenti possono ispezionare l'appartenenza ai cluster, confrontare le etichette e accedere ai record originali delle fonti invece di affidarsi esclusivamente ai riassunti.

• Valutazione della Configurazione Offline (RQ1):
  Per determinare la configurazione predefinita ottimale, gli autori hanno condotto una valutazione offline automatizzata su otto diversi domini di arXiv (ad esempio, Informatica, Fisica, Economia). Hanno testato combinazioni di:

  • Rappresentazioni dei Documenti: MiniLM, SciBERT e TF-IDF.
  • Riduzione della Dimensionalità: UMAP e SVD (con vari conteggi di componenti).
  • Algoritmi di Clustering: K-Means, Clustering Agglomerativo e Fuzzy C-Means.
  • Metriche: Metriche di clustering intrinseche (Punteggio Silhouette, Indice Calinski-Harabasz, Indice Davies-Bouldin) e metriche di coerenza tematica ($C_{V}$ e $C_{NPMI}$).

• Valutazione Utente (RQ2 & RQ3):
  L'interpretabilità e l'utilità del sistema sono state valutate tramite un sondaggio basato su scenari (10 partecipanti) e un gruppo di discussione con esperti (4 ricercatori esperti). I partecipanti hanno valutato scenari predefiniti (ad esempio, "Modelli Linguistici di Grande Dimensione" in Informatica, "Mercato e Previsione" nella Finanza Quantitativa) e hanno eseguito compiti auto-diretti.

Contributi Chiave

1. Un Sistema Interattivo Pubblico: Eliot combina il recupero di arXiv al momento della query, il clustering non supervisionato, l'etichettatura con parole chiave, la visualizzazione temporale e l'ispezione a livello di documento in un unico flusso di lavoro.
2. Un Flusso di Lavoro Tracciabile: Il sistema espone le impostazioni della query, i documenti recuperati, le assegnazioni ai cluster e i collegamenti alle fonti, supportando l'auditabilità nell'analisi esplorativa della letteratura.
3. Analisi Empirica della Configurazione: Una valutazione automatizzata su otto domini ha identificato una configurazione predefinita robusta (embedding MiniLM, UMAP a 10 dimensioni e Clustering Agglomerativo).
4. Validazione Centrata sull'Utente: Evidenze da sondaggi e gruppi di discussione dimostrano che gli utenti trovano le etichette dei cluster significative e apprezzano il sistema per le visioni d'insieme auditabili di aree tecniche in rapida evoluzione.

Risultati

• Selezione della Configurazione: La valutazione offline ha rivelato che gli embedding MiniLM erano la rappresentazione migliore in tutti gli otto domini, superando SciBERT e TF-IDF. UMAP era il metodo di riduzione della dimensionalità preferito, con 10 componenti come impostazione ottimale più frequente. Il Clustering Agglomerativo appariva più frequentemente nelle configurazioni meglio classificate, seguito da vicino da K-Means. Di conseguenza, gli autori raccomandano MiniLM + UMAP a 10D + Clustering Agglomerativo come predefinito pratico.
• Interpretabilità Utente: Nel sondaggio, l'85% delle risposte ha valutato le etichette dei cluster come significative (4 o 5 su una scala Likert), un risultato statisticamente significativo ($p < 0.001$). Sebbene la percezione dell'utilità di scenari specifici variasse in base al background dell'utente, i partecipanti hanno mostrato una percezione positiva dell'utilità dello strumento per la ricerca futura ($p = 0.047$).
• Feedback degli Esperti: Il gruppo di discussione ha confermato che Eliot è più prezioso per fornire visioni d'insieme tracciabili di aree in rapida evoluzione. Gli utenti hanno apprezzato la possibilità di interagire con le visualizzazioni e accedere direttamente ai documenti sorgente.
• Limitazioni Identificate: Gli utenti hanno notato una potenziale confusione quando il clustering automatico produceva granularità diverse su diverse finestre temporali (a causa di limiti fissi di recupero dei documenti che influenzano la densità degli embedding). Gli autori hanno affrontato questo problema esponendo controlli per aumentare il numero massimo di documenti recuperati o passare al clustering controllato dall'utente.

Significato e Affermazioni
Il documento afferma che Eliot generalizza l'analisi dell'evoluzione della letteratura oltre i vincoli delle tassonomie costruite a mano e degli script specifici del dominio utilizzati negli studi precedenti (come l'analisi della letteratura sulla pianificazione con LLM di Pallagani et al.). Spostandosi dalla classificazione supervisionata in categorie fisse al raggruppamento non supervisionato al momento della query, Eliot permette ai ricercatori di ispezionare direttamente le prove alla base delle tendenze della letteratura.

Gli autori posizionano Eliot non come sostituto degli assistenti AI orientati alle risposte (che sintetizzano affermazioni), ma come strumento complementare per la fase esplorativa iniziale. Aiuta i ricercatori a rendere visibile il corpus recuperato come temi, etichette e modelli temporali, supportando così "visioni d'insieme auditabili" di aree tecniche in rapida evoluzione. Il lavoro suggerisce che il clustering al momento della query e l'ispezione temporale possono integrare gli strumenti di ricerca e generazione permettendo ai ricercatori di affinare e verificare le prove alla base delle tendenze emergenti.

Gli autori rimangono modesti nelle loro affermazioni, notando che i risultati della configurazione sono "predefiniti pratici" piuttosto che ottimi universali, e che gli studi sugli utenti sono preliminari, richiedendo valutazioni controllate su larga scala nei lavori futuri.