Eliot: Interactively $\underline{E}$xploring Fast-Changing Scientific $\underline{Li}$terature Trends with $\underline{O}$nline Da$\underline{t}$a and Learning

Technische Zusammenfassung: Eliot – Interaktive Exploration sich schnell wandelnder Trends in der wissenschaftlichen Literatur

Problemstellung
Das rasante Wachstum der wissenschaftlichen Publikationen erschwert die Verfolgung der Entwicklung sich schnell bewegender Forschungsgebiete zunehmend. Während bestehende Suchmaschinen und auf Large Language Models (LLM) basierende Assistenten Papers abrufen oder zusammenfassen, verschleiern sie oft die zugrundeliegenden Entscheidungen bezüglich der Korpusauswahl, -organisation und der Verbindung zu zeitlichen Mustern. Aktuelle Literatur-Assistenten präsentieren häufig gerankte Listen oder undurchsichtige generierte Synthesen, die die Evidenz hinter Trends verbergen. Forschende benötigen einen überprüfbaren Arbeitsablauf, um zu verifizieren, welche Dokumente scheinbare zeitliche Muster stützen, zu verstehen, wie Papers in Themen unterteilt werden, und aufkommende Richtungen zu identifizieren, ohne sich auf feste, von Experten gepflegte Taxonomien oder domänenspezifische Skripte zu verlassen.

Methodik
Die Autoren stellen Eliot vor, ein öffentlich eingesetztes interaktives System, das für die nachvollziehbare Exploration sich entwickelnder wissenschaftlicher Literatur unter Verwendung von Online-Daten konzipiert ist. Das System arbeitet auf Query-Time-Basis und ruft Papers von arXiv ab, anstatt sich auf feste Benchmark-Datensätze zu verlassen.

• System-Pipeline:

  1. Abruf: Nutzer geben explizite Abfragebegriffe (Schlüsselwörter/Phrasen), Kategorienfilter, Datumsbereiche und Sortierkriterien ein. Das System ruft relevante Papers von arXiv ab und verketftet Titel und Abstracts zur Verarbeitung.
  2. Repräsentation & Clustering: Das abgerufene Korpus wird mittels Text-Embeddings repräsentiert. Das System unterstützt sowohl automatisches Clustering (Strukturableitung) als auch nutzerkontrolliertes Clustering (Festlegung der Clusteranzahl).
  3. Beschriftung: Jedem Cluster werden repräsentative Schlüsselwörter mittels Class-based TF-IDF (c-TF-IDF), inspiriert von BERTopic, zugewiesen, um die unterscheidenden Merkmale der Gruppe zusammenzufassen.
  4. Visualisierung: Die Schnittstelle zeigt Cluster-Schlüsselwörter, einen zeitlichen Streudiagramm, der die Verteilung der Papers über die Publikationsjahre hinweg darstellt, sowie paginierte Listen von Papers mit Quelllinks an.
  5. Nachvollziehbarkeit: Ein zentrales Designziel ist die Auditierbarkeit; Nutzer können Cluster-Mitgliedschaften inspizieren, Beschriftungen vergleichen und auf ursprüngliche Quelldatensätze zugreifen, anstatt sich ausschließlich auf Zusammenfassungen zu verlassen.

• Offline-Konfigurationsbewertung (FQ1):
  Um die optimale Standardkonfiguration zu ermitteln, führten die Autoren eine automatisierte Offline-Bewertung über acht verschiedene arXiv-Domänen (z. B. Informatik, Physik, Wirtschaftswissenschaften) durch. Sie testeten Kombinationen aus:

  • Dokumentrepräsentationen: MiniLM, SciBERT und TF-IDF.
  • Dimensionsreduktion: UMAP und SVD (mit variierenden Komponentenanzahlen).
  • Clustering-Algorithmen: K-Means, Agglomeratives Clustering und Fuzzy C-Means.
  • Metriken: Intrinsische Clustering-Metriken (Silhouette-Score, Calinski-Harabasz-Index, Davies-Bouldin-Index) und Topic-Kohärenz-Metriken ($C_{V}$ und $C_{NPMI}$).

• Nutzerbewertung (FQ2 & FQ3):
  Die Interpretierbarkeit und Nützlichkeit des Systems wurden mittels einer szenariobasierten Umfrage (10 Teilnehmer) und einer Experten-Fokusgruppe (4 erfahrene Forschende) bewertet. Teilnehmer bewerteten vordefinierte Szenarien (z. B. „Large Language Models" in der Informatik, „Market and Prediction" im Quantitative Finance) und führten selbstgesteuerte Aufgaben durch.

Hauptbeiträge

1. Ein öffentliches interaktives System: Eliot kombiniert Abruf von arXiv auf Query-Time-Basis, unüberwachtes Clustering, Schlüsselwort-Beschriftung, zeitliche Visualisierung und Dokumenten-Inspektion in einem einzigen Arbeitsablauf.
2. Ein nachvollziehbarer Arbeitsablauf: Das System macht Abfrageeinstellungen, abgerufene Papers, Cluster-Zuordnungen und Quelllinks sichtbar und unterstützt damit die Auditierbarkeit bei der explorativen Literaturanalyse.
3. Empirische Konfigurationsanalyse: Eine automatisierte Bewertung über acht Domänen identifizierte eine robuste Standardkonfiguration (MiniLM-Embeddings, 10-dimensionale UMAP und Agglomeratives Clustering).
4. Nutzerzentrierte Validierung: Evidenz aus Umfragen und Fokusgruppen zeigt, dass Nutzer Cluster-Beschriftungen als sinnvoll erachten und das System für überprüfbare Übersichten sich schnell wandelnder technischer Bereiche schätzen.

Ergebnisse

• Konfigurationsauswahl: Die Offline-Bewertung ergab, dass MiniLM-Embeddings über alle acht Domänen hinweg die bestperformende Repräsentation waren und SciBERT sowie TF-IDF übertrafen. UMAP war die bevorzugte Methode zur Dimensionsreduktion, wobei 10 Komponenten die häufigste optimale Einstellung waren. Agglomeratives Clustering trat in den bestplatzierten Konfigurationen am häufigsten auf, gefolgt von K-Means. Dementsprechend empfehlen die Autoren MiniLM + 10D UMAP + Agglomeratives Clustering als praktische Standardkonfiguration.
• Nutzer-Interpretierbarkeit: In der Umfrage bewerteten 85 % der Antworten Cluster-Beschriftungen als sinnvoll (4 oder 5 auf einer Likert-Skala), ein statistisch signifikantes Ergebnis ($p < 0.001$). Während die wahrgenommene Nützlichkeit spezifischer Szenarien je nach Nutzerhintergrund variierte, zeigten die Teilnehmer eine positive Wahrnehmung des Nutzens des Tools für zukünftige Forschung ($p = 0.047$).
• Experten-Feedback: Die Fokusgruppe bestätigte, dass Eliot am wertvollsten ist, um nachvollziehbare Übersichten sich schnell wandelnder Bereiche zu liefern. Nutzer schätzten die Möglichkeit, mit Visualisierungen zu interagieren und direkt auf Quell-Papers zuzugreifen.
• Identifizierte Einschränkungen: Nutzer wiesen auf potenzielle Verwirrung hin, wenn automatisches Clustering über verschiedene Zeitfenster hinweg unterschiedliche Granularitäten erzeugte (bedingt durch feste Abruflimits für Dokumente, die die Embedding-Dichte beeinflussen). Die Autoren adressierten dies, indem sie Kontrollen freigegebenen, um die maximale Anzahl abgerufener Papers zu erhöhen oder zu nutzerkontrolliertem Clustering zu wechseln.

Bedeutung und Behauptungen
Die Arbeit behauptet, dass Eliot die Analyse der Literatur-Evolution über die Beschränkungen von manuell erstellten Taxonomien und domänenspezifischen Skripten hinaus generalisiert, wie sie in früheren Studien verwendet wurden (wie beispielsweise die LLM-geplante Literaturanalyse von Pallagani et al.). Durch den Wechsel von überwachter Klassifikation in feste Kategorien hin zu unüberwachtem, auf Query-Time-Basis erfolgendem Gruppieren ermöglicht Eliot Forschenden, die Evidenz hinter Literaturtrends direkt zu inspizieren.

Die Autoren positionieren Eliot nicht als Ersatz für antwortorientierte KI-Assistenten (die Behauptungen synthetisieren), sondern als ergänzendes Werkzeug für die frühere explorative Phase. Es hilft Forschenden, das abgerufene Korpus als Themen, Beschriftungen und zeitliche Muster sichtbar zu machen und unterstützt damit „überprüfbare Übersichten" sich schnell wandelnder technischer Bereiche. Die Arbeit legt nahe, dass Clustering auf Query-Time-Basis und zeitliche Inspektion Such- und Generierungswerkzeuge ergänzen können, indem sie Forschenden ermöglichen, die Evidenz hinter aufkommenden Trends zu verfeinern und zu verifizieren.

Die Autoren bleiben in ihren Behauptungen bescheiden und weisen darauf hin, dass die Konfigurationsergebnisse „praktische Standards" und keine universellen Optima sind und dass die Nutzerstudien vorläufig sind, was in zukünftiger Arbeit größere, kontrollierte Evaluierungen erfordert.