Eliot: Interactively $\underline{E}$xploring Fast-Changing Scientific $\underline{Li}$terature Trends with $\underline{O}$nline Da$\underline{t}$a and Learning

Technische Samenvatting: Eliot – Interactief Verkennen van Snel Veranderende Trends in Wetenschappelijke Literatuur

Probleemstelling
De snelle groei van wetenschappelijk publiceren maakt het steeds moeilijker om de evolutie van snel bewegende onderzoeksgebieden te volgen. Hoewel bestaande zoekmachines en op Large Language Models (LLM) gebaseerde assistenten papers ophalen of samenvatten, verhullen ze vaak de onderliggende beslissingen met betrekking tot de selectie, organisatie en tijdsgebonden patronen van het corpus. Huidige literatuur-assistenten presenteren frequent gerangschikte lijsten of ondoorzichtige gegenereerde synthese die het bewijs achter trends verbergen. Onderzoekers hebben behoefte aan een inspecteerbare workflow om te verifiëren welke documenten ogenschijnlijke tijdsgebonden patronen ondersteunen, te begrijpen hoe papers zich verdelen in thema's, en opkomende richtingen te identificeren zonder te vertrouwen op vaste, door experts onderhouden taxonomieën of domeinspecifieke scripts.

Methodologie
De auteurs presenteren Eliot, een publiek toegankelijk interactief systeem ontworpen voor het traceerbaar verkennen van evoluerende wetenschappelijke literatuur met behulp van online data. Het systeem werkt op basis van query-tijd, waarbij papers worden opgehaald uit arXiv in plaats van te vertrouwen op vaste benchmark-datasets.

• Systeempijplijn:

  1. Ophalen: Gebruikers voeren expliciete query-termen (sleutelwoorden/zinnen), categoriefilters, datumbereiken en sorteercriteria in. Het systeem haalt relevante papers op uit arXiv en koppelt titels en abstracts aan elkaar voor verwerking.
  2. Representatie & Clustering: Het opgehaalde corpus wordt gerepresenteerd met tekst-embeddings. Het systeem ondersteunt zowel automatische clustering (het afleiden van structuur) als door de gebruiker gecontroleerde clustering (het specificeren van het aantal clusters).
  3. Labeling: Aan elke cluster worden representatieve sleutelwoorden toegewezen met behulp van Class-based TF-IDF (c-TF-IDF), geïnspireerd door BERTopic, om de onderscheidende kenmerken van de groep samen te vatten.
  4. Visualisatie: De interface toont cluster-sleutelwoorden, een tijdsgebonden spreidingsdiagram dat de verdeling van papers over publicatiejaren laat zien, en gepagineerde lijsten van papers met bronlinks.
  5. Traceerbaarheid: Een kernontwerpdoel is auditbaarheid; gebruikers kunnen cluster-lidmaatschappen inspecteren, labels vergelijken en toegang krijgen tot originele bronrecords in plaats van uitsluitend te vertrouwen op samenvattingen.

• Offline Configuratie-evaluatie (RQ1):
  Om de optimale standaardconfiguratie te bepalen, voerden de auteurs een geautomatiseerde offline evaluatie uit over acht diverse arXiv-domeinen (bijv. Informatica, Natuurkunde, Economie). Ze testten combinaties van:

  • Documentrepresentaties: MiniLM, SciBERT en TF-IDF.
  • Dimensionaliteitsreductie: UMAP en SVD (met variërende componentaantallen).
  • Clustering-algoritmen: K-Means, Agglomerative Clustering en Fuzzy C-Means.
  • Maten: Intrinsieke clustering-maten (Silhouette Score, Calinski-Harabasz Index, Davies-Bouldin Index) en topic-coherentie-maten ($C_{V}$ en $C_{NPMI}$).

• Gebruikerevaluatie (RQ2 & RQ3):
  De interpreteerbaarheid en bruikbaarheid van het systeem werden beoordeeld via een scenariogebaseerd survey (10 deelnemers) en een expertfocusgroep (4 ervaren onderzoekers). Deelnemers evalueerden vooraf gedefinieerde scenario's (bijv. "Large Language Models" in Informatica, "Market and Prediction" in Quantitative Finance) en voerden zelfgestuurde taken uit.

Belangrijkste Bijdragen

1. Een Publiek Interactief Systeem: Eliot combineert query-tijd arXiv-ophaling, ongesuperviseerde clustering, sleutelwoord-labeling, tijdsgebonden visualisatie en inspectie op documentniveau in één workflow.
2. Een Traceerbare Workflow: Het systeem blootstelt query-instellingen, opgehaalde papers, cluster-toewijzingen en bronlinks, wat auditbaarheid ondersteunt in exploratieve literatuuranalyse.
3. Empirische Configuratie-analyse: Een geautomatiseerde evaluatie over acht domeinen identificeerde een robuuste standaardconfiguratie (MiniLM-embeddings, 10-dimensionale UMAP en Agglomerative Clustering).
4. Gebruikersgerichte Validatie: Bewijs uit enquêtes en focusgroepen toont aan dat gebruikers cluster-labels betekenisvol vinden en het systeem waarderen voor auditbare overzichten van snel veranderende technische gebieden.

Resultaten

• Configuratie-selectie: De offline evaluatie toonde aan dat MiniLM-embeddings de best presterende representatie waren over alle acht domeinen, en beter presteerden dan SciBERT en TF-IDF. UMAP was de voorkeursmethode voor dimensionaliteitsreductie, waarbij 10 componenten de meest frequente optimale instelling was. Agglomerative Clustering kwam het meest voor in top-gerangschikte configuraties, gevolgd door K-Means. Derhalve raden de auteurs MiniLM + 10D UMAP + Agglomerative Clustering aan als de praktische standaard.
• Gebruikersinterpreteerbaarheid: In het survey beoordeelden 85% van de antwoorden cluster-labels als betekenisvol (4 of 5 op een Likert-schaal), een resultaat dat statistisch significant is ($p < 0.001$). Hoewel de waargenomen bruikbaarheid van specifieke scenario's varieerde op basis van de achtergrond van de gebruiker, toonden deelnemers een positieve perceptie van de bruikbaarheid van het hulpmiddel voor toekomstig onderzoek ($p = 0.047$).
• Expertfeedback: De focusgroep bevestigde dat Eliot het waardevolst is voor het bieden van traceerbare overzichten van snel veranderende gebieden. Gebruikers waardeerden de mogelijkheid om te interageren met visualisaties en direct toegang te krijgen tot bronpapers.
• Geïdentificeerde Beperkingen: Gebruikers merkten potentiële verwarring op wanneer automatische clustering verschillende granulariteiten produceerde over verschillende tijdsvensters (door vaste limieten voor het ophalen van documenten die de dichtheid van embeddings beïnvloeden). De auteurs verholpen dit door controles bloot te leggen om het maximale aantal opgehaalde papers te verhogen of over te schakelen naar door de gebruiker gecontroleerde clustering.

Betekenis en Claims
Het artikel claimt dat Eliot de analyse van literatuurevolutie generaliseert buiten de beperkingen van handmatig gebouwde taxonomieën en domeinspecifieke scripts die in eerdere studies werden gebruikt (zoals de LLM-planningsliteratuuranalyse van Pallagani et al.). Door over te schakelen van gesuperviseerde classificatie in vaste categorieën naar ongesuperviseerde, query-tijd groepering, stelt Eliot onderzoekers in staat om het bewijs achter literatuurtrends direct te inspecteren.

De auteurs positioneren Eliot niet als een vervanging voor op antwoorden gerichte AI-assistenten (die claims synthetiseren), maar als een complementair hulpmiddel voor de eerdere exploratieve fase. Het helpt onderzoekers om het opgehaalde corpus zichtbaar te maken als thema's, labels en tijdsgebonden patronen, waardoor "auditbare overzichten" van snel veranderende technische gebieden worden ondersteund. Het werk suggereert dat query-tijd clustering en tijdsgebonden inspectie zoek- en generatietools kunnen aanvullen door onderzoekers in staat te stellen het bewijs achter opkomende trends te verfijnen en te verifiëren.

De auteurs blijven bescheiden in hun claims, noteren dat de configuratieresultaten "praktische standaarden" zijn in plaats van universele optima, en dat de gebruiksstudies voorlopig zijn, waardoor grootschalige gecontroleerde evaluaties in toekomstig werk worden geroepen.