How Do LLMs Encode Scientific Quality? An Empirical Study Using Monosemantic Features from Sparse Autoencoders

Probleemstelling

Hoewel Large Language Models (LLMs) steeds vaker worden ingezet voor het beoordelen, verbeteren en genereren van wetenschappelijk werk, blijft het interne mechanisme waarmee deze modellen het concept van "wetenschappelijke kwaliteit" coderen, een "black box". Bestaande studies tonen aan dat LLMs onderzoek kunnen evalueren op basis van waargenomen kwaliteit, maar er is weinig inzicht in hoe dit gebeurt. De huidige interpretatiemethoden zijn vaak beperkt omdat ze geen onderscheid maken tussen semantische dimensies. Er is dus behoefte aan een dieper begrip van de interne representaties die LLMs gebruiken om aspecten zoals methodologische rigour, impact en relevantie van onderzoek te identificeren.

Methodologie

De auteurs hanteren een empirische aanpak die gebruikmaakt van Sparse Autoencoders (SAEs) om monosemantische features (eenduidige, interpreteerbare concepten) uit de activaties van LLMs te extraheren. Het onderzoek bestaat uit vier hoofdfasen:

1. Dataverzameling en Voorbereiding:

   • De dataset is afgeleid van de AIDA Knowledge Graph (ongeveer 25 miljoen publicaties).
   • Er is een corpus van 38.639 papers geselecteerd, gekenmerkt door titel, abstract, vijfjaars citaties, en tijdschriftgegevens.
   • Drie bibliometrische proxy-indicatoren voor kwaliteit zijn gebruikt: Citation Count, SJR (SCImago Journal Rank), en h-index van het tijdschrift.
   • Deze metrieken zijn omgezet in kwartielen. Voor de classificatietaken zijn alleen de eerste (hoogste) en vierde (laagste) kwartielen geselecteerd om een gebalanceerde dataset voor binaire classificatie te creëren.

2. Feature Extractie:

   • Er zijn drie experimentele configuraties getest met verschillende LLM/SAE-combinaties:
     • Gemma 2 2B + SAE (laag 20).
     • Gemma 2 9B-it + SAE (laag 20).
     • Gemma 2 9B-it + SAE (laag 31).
   • Voor elke paper genereerde het LLM een samenvatting van drie zinnen. Vervolgens werden de monosemantische features berekend voor elk token in deze samenvatting en gemiddeld om één interpreteerbaar vector per paper te verkrijgen.

3. Modeltraining:

   • Een Decision Tree Classifier werd getraind op de geëxtraheerde features om de drie kwaliteitsmetrieken te voorspellen.
   • Een Decision Tree werd gekozen vanwege zijn hoge interpretatievermogen en vermogen tot feature-selectie.
   • Als baseline werd een BERT-classifier getraind op de getokeniseerde teksten om de prestaties te vergelijken.

4. Kwalitatieve Analyse:

   • De belangrijkste features in de decision trees werden geïnterpreteerd met behulp van de Neuropedia-service. Dit omvatte het analyseren van teksten met hoge/lage activatiewaarden en het observeren van tekstveranderingen bij het "clampen" van feature-activaties.

Belangrijkste Bijdragen

• Eerste Systematische Studie: Dit is het eerste onderzoek dat systematisch onderzoekt hoe LLMs wetenschappelijke kwaliteit coderen via monosemantische features.
• Interpretabiliteit: In plaats van te vertrouwen op ondoorzichtige embeddings, worden specifieke, mensinterpreteerbare concepten geïdentificeerd die correleren met kwaliteit.
• Open Science: Alle experimentele materialen, code en datasets zijn openbaar beschikbaar gesteld.

Resultaten

De resultaten tonen aan dat LLMs features coderen die correleren met meerdere dimensies van wetenschappelijke kwaliteit. De decision trees behaalden redelijke tot goede prestaties (accuracy tussen 0,71 en 0,82), waarbij de monosemantische features zelfs iets beter presteerden dan de BERT-baseline bij het voorspellen van citatiekwartielen.

De analyse onthulde vier terugkerende typen features die cruciaal zijn voor de representatie van kwaliteit:

1. Onderzoeksmethodologie:

   • Features die verwijzen naar rigoureuze methoden (zowel kwalitatief als kwantitatief), zoals gerandomiseerde gecontroleerde trials (RCT's), machine learning protocollen en gestandaardiseerde data-analyse.
   • Modellen associëren expliciete vermeldingen van gevestigde protocollen met hogere kwaliteit.

2. Publicatietype:

   • Features die survey papers en literatuur reviews identificeren.
   • Deze types worden consistent geassocieerd met een hogere impact (hogere citaties en SJR), waarschijnlijk vanwege hun synthetiserende aard en het bieden van conceptuele kaders.

3. Onderzoeksdomeinen en Technologieën:

   • Features die verwijzen naar opkomende, hoog-impact domeinen (bijv. Big Data, Cloud Computing, IoT, 5G/LTE, elektrische netwerken).
   • Het model herkent dat publicaties over deze "hot topics" vaak een hogere zichtbaarheid en impact hebben.

4. Wetenschappelijke Jargon en Taalgebruik:

   • Features die specifiek vakjargon, academische schrijfstijl en discipline-specifieke terminologie vastleggen.
   • Hoewel minder direct interpreteerbaar, suggereren deze patronen dat LLMs de stilistische en lexicaal regels van specifieke onderzoeksgemeenschappen hebben internaliseerd, wat correleert met publicatie in prestigieuze tijdschriften.

Vergelijking tussen taken:

• De voorspelling van citatiekwartielen leek het meest stabiel over verschillende modelconfiguraties heen.
• De voorspelling van SJR en h-index was sterker afhankelijk van domeinspecifieke features (bijv. communicatienetwerken, elektriciteitsnetten), wat wijst op een structurele bias in de bibliometrie waarbij bepaalde vakgebieden systematisch hoger scoren.

Betekenis en Conclusie

De studie concludeert dat LLMs niet alleen linguïstische patronen verwerken, maar ook epistemische en structurele aspecten van wetenschappelijke communicatie internaliseren. Ze leren impliciet welke tekens (methodologische rigour, type publicatie, actuele thema's) worden geassocieerd met wetenschappelijke excellentie.

Dit onderzoek is een belangrijke stap richting transparantie in AI-gestuurde wetenschappelijke evaluatie. Het biedt inzicht in hoe modellen "kwaliteit" begrijpen, wat essentieel is voor het ontwikkelen van betrouwbare tools voor peer review, hypothese-generatie en het detecteren van bias in wetenschappelijke literatuur. De auteurs wijzen echter op beperkingen, zoals de subjectiviteit bij het labelen van features en de focus op één modelarchitectuur (Gemma 2), en pleiten voor toekomstig onderzoek naar regressiemodellen en de toepassing van deze features om LLM-prestaties in wetenschappelijke taken te verbeteren.