How Much Structure Do LLMs Need? Evaluating LLMs for Bibliometric Cluster Description

Technische Samenvatting: Hoeveel Structuur Hebben LLM's Nodig? Evaluatie van LLM's voor Bibliometrische Clusterbeschrijving

Probleemstelling
Grote Taalmodellen (LLM's) worden steeds vaker ingezet voor de synthese van wetenschappelijke literatuur, waaronder het genereren van gerelateerd werk en automatische literatuuroverzichten. Het genereren van een literatuuroverzicht vanaf nul blijft echter problematisch vanwege de neiging van modellen om referenties te hallucineren, ongelijkmatige dekking te bieden en thematische organisaties op te leggen die niet worden ondersteund door het wetenschappelijke archief. Hoewel retrieval-augmented generation (RAG) de grondigheid verbetert, lost het de moeilijkheid van het structureren van een literatuurkaart niet volledig op. Bibliometrische analyse biedt een gestructureerd alternatief, waarbij metagegevens (citaten, referenties) worden gebruikt om papers te organiseren in clusters die onderzoeksstromen vertegenwoordigen. De centrale onderzoeksvraag die wordt behandeld is: Hoeveel externe bibliometrische structuur moet aan een LLM worden verstrekt om betrouwbare clusterbeschrijvingen te genereren? Specifiek onderzoeken de auteurs of LLM's bibliometrische structuur autonoom kunnen afleiden of dat ze het beste functioneren als interpreten van algoritmisch gedefinieerde structuren.

Methodologie
De studie evalueert zes verschillende pijplijnen die een continuüm vertegenwoordigen van afnemende verantwoordelijkheid van de LLM en toenemende bibliometrische structuur. De benchmark is opgebouwd uit 100 peer-reviewed bibliometrische reviewpapers. Voor elke bronpaper extraheren de auteurs handmatig de originele zoekopdracht en door mensen geschreven clusterbeschrijvingen, en reconstrueren ze het bijbehorende Scopus-corpus.

De zes geteste pijplijnen zijn:

1. Blind: De LLM ontvangt alleen de zoekopdracht en het gewenste aantal clusters. Het moet thema's, referenties en clusterstructuren vanaf nul afleiden.
2. Corpus: De LLM ontvangt de zoekopdracht, het gewenste aantal clusters en het volledige gereconstrueerde Scopus-corpus (titels en samenvattingen). Het moet clusterstructuur induceren en deze in één doorgang beschrijven.
3. Corpus-select: Een tweestapsproces waarbij de LLM eerst relevante papers uit het corpus selecteert voor elke cluster, en vervolgens beschrijvingen synthetiseert op basis van deze gefilterde bewijslast.
4. Gelabeld: De LLM ontvangt het corpus dat vooraf is gegroepeerd door een standaard bibliometrisch clustering-algoritme (Louvain-communitydetectie gebaseerd op bibliografische koppeling of directe citatie). De rol van de LLM is beperkt tot het interpreteren en beschrijven van deze vooraf gedefinieerde clusters.
5. Gelabeld-select: Vergelijkbaar met Gelabeld, maar in een tweestapsproces waarbij de LLM eerst de meest representatieve papers binnen de vooraf gedefinieerde clusters selecteert voordat het beschrijvingen genereert.
6. Geraankt: De LLM ontvangt de vooraf gedefinieerde clusters, maar krijgt slechts een compacte, top-gerangschikte subset papers (gebaseerd op linksterkte) uit elke cluster om te samenvatten.

Evaluatiemetrics
De output wordt beoordeeld op vijf dimensies:

• Menselijke Alignering: Semantische gelijkenis (BERTScore) tussen gegenereerde en door mensen geschreven beschrijvingen.
• Semantische Dekking: De mate waarin gegenereerde beschrijvingen de semantische inhoud van het volledige gereconstrueerde corpus bestrijken.
• Kwaliteit van Clustering: Gemeten aan de hand van de Adjusted Rand Index (ARI) en de Silhouette-score, waarbij wordt beoordeeld of de gegenereerde beschrijvingen paper-toewijzingen induceren die de originele bibliometrische structuur herstellen.
• Kwaliteit van Grafische Structuur: Modulariteitsscores die evalueren of de geïnduceerde clusters overeenkomen met dichte regio's van de onderliggende citatie- of bibliografische koppeling-grafiek.
• Referentiegronding: Validatie van gegenereerde referenties tegen echte bibliografische records (OpenAlex) en controle of beschrijvingen de aangehaalde bewijslast weerspiegelen.

Belangrijkste Resultaten

1. LLM's als Interpreten versus Generatoren: LLM's produceren beschrijvingen die semantisch dicht bij door mensen geschreven teksten staan (hoge BERTScore), maar zijn onbetrouwbaar wanneer ze worden gevraagd bibliometrische structuur vanaf nul af te leiden. De Blind-pijplijn presteert slecht op alle structurele metrics en vertoont aanzienlijke referentiehallucinaties.
2. Impact van Structuur: De prestaties verbeteren aanzienlijk wanneer bibliometrische algoritmes de clusters definiëren en de LLM deze interpreteert. Pijplijnen met algoritmische structuur (Gelabeld, Gelabeld-select, Geraankt) presteren consistent beter dan alleen corpus-gebaseerde pijplijnen (Corpus, Corpus-select) op het gebied van clusteringkwaliteit, grafische modulariteit en referentiegronding.
3. Taakafhankelijke Structuur: Het optimale niveau van structuur hangt af van de bibliometrische relatie:
   • Bibliografische Koppeling: Profiteert van volledige clustercontext (Gelabeld presteert het beste), aangezien deze clusters vaak brede intellectuele achtergronden weerspiegelen die over veel papers zijn verdeeld.
   • Directe Citatie: Profiteert van compacte, link-gerangschikte bewijslast (Geraankt presteert het beste), aangezien citatiestructuren vaak geconcentreerd zijn rondom invloedrijke centrale werken.
4. Mensen versus Gestructureerde LLM's: Waar menselijke beschrijvingen zijn geschreven voor wetenschappelijke interpretatie, behalen gestructureerde LLM-pijplijnen vaak hogere scores op corpusniveau, clustering- en grafiekgebaseerde metrics. Dit geeft aan dat gestructureerde pijplijnen de gereconstrueerde bibliometrische of citatiestructuur beter behouden, hoewel dit niet noodzakelijkerwijs impliceert dat ze meer domeininzicht of nuance bieden dan menselijke experts.

Betekenis en Claims
Het artikel stelt dat LLM-ondersteunde bibliometrische synthese het meest veelbelovend is als een hybride workflow. In dit model leveren algoritmes controleerbare, precieze structurele taken (zoals het clusteren van papers op basis van citaties of gedeelde referenties), terwijl LLM's de interpretatieve taak van het vertalen van die structuur naar leesbare beschrijvingen uitvoeren.

De auteurs positioneren dit werk als een testgeval voor bredere LLM-systeemontwerp, waarbij wordt gesuggereerd dat LLM's het meest betrouwbaar zijn wanneer externe systemen structuur bieden en het model synthese, uitleg of vertaling uitvoert. De studie waarschuwt expliciet dat de resultaten "structurele trouw" demonstreren in plaats van een algemene superioriteit van LLM's ten opzichte van menselijke experts op het gebied van wetenschappelijk inzicht. De bevindingen ondersteunen een verschuiving in literatuuroverzichtsonderzoek van geïsoleerde single-task toepassingen naar gestructureerde, meerstaps workflows waarbij de taakverdeling tussen algoritmische precisie en generatieve synthese zorgvuldig wordt beheerd.