Technische Samenvatting: Domeinadaptatie en Redeneerframeworks in Taalmodellen

Probleemstelling

Dit werk onderzoekt of domeinadaptatie het verklarende gedrag van taalmodellen (LM's) hervormt en hoe dergelijke adaptatie de generatie van specifieke kosmologische standpunten beïnvloedt. De centrale onderzoeksvraag adresseert een breder debat in LM-onderzoek: of modellen in staat zijn om verklarende structuren of ideeën te genereren die niet direct in hun trainingsdata zijn gerepresenteerd, of dat schijnbare nieuwheid louter het ophalen en recombineren is van latente patronen die tijdens de pretraining zijn gecodeerd.

Om deze variabelen te isoleren, maken de auteurs gebruik van historische kosmologie als een gecontroleerde setting. In tegenstelling tot wetenschappelijke domeinen die nieuwe entiteiten vereisen (bijv. virussen), omvatte de transitie van geocentrische naar heliocentrische astronomie het reorganiseren van bestaande concepten (hemellichamen, beweging) binnen een ander verklarend kader. Dit stelt de auteurs in staat om te testen of modellen getraind op beperkte, pre-Copernicaanse distributies continuaties kunnen genereren die grenzen aan conceptuele structuren (heliocentrisme) die afwezig zijn in de fine-tuning corpus, en hoe fine-tuning de relatie tussen verklarende inkadering (premodern versus modern) en kosmologische standpunt (geocentrisch versus heliocentrisch) verandert.

Methodologie

De studie wordt uitgevoerd in twee complementaire fasen met behulp van een gecontroleerde corpus van pre-Copernicaanse astronomische teksten (bijv. Almagest, Sphaera Mundi, De Caelo) waaruit expliciete heliocentrische referenties rigoureus zijn gefilterd.

Fase 1: Small-Model Training vanaf nul

• Modellen: Een 110M-parameter decoder-only GPT-stijl transformer.
• Trainingsregime:
  • Model A: Getraind vanaf nul op een gefilterde algemene taalcorpus (Project Gutenberg) waarbij alle astronomische inhoud is verwijderd om blootstelling aan moderne concepten te minimalen.
  • Model B: Geïnitialiseerd vanuit Model A en gefine-tuned op een mix van de pre-Copernicaanse astronomische corpus en algemeen Engels (80/20 ratio).
• Evaluatie: 1.680 generaties per model over vier prompt-categorieën (astronomie, declariatief, algemeen, vragen). De outputs werden geëvalueerd met behulp van een LLM-als-rechter (Claude Haiku 4.5) om kosmologisch standpunt (geocentrisch, heliocentrisch, ambigu) en verklarende inkadering (premodern versus modern) te labelen.

Fase 2: QLoRA Adaptatie van Grote Modellen

• Modellen: Qwen2.5-7B, een groot pretrained model met sterke linguïstische vloeiendheid en latente moderne kennis.
• Adaptatie: Gefine-tuned met behulp van QLoRA (Quantized Low-Rank Adaptation) op dezelfde pre-Copernicaanse corpus voor 500 en 1.000 iteraties.
• Evaluatie: 560 generaties per model (Base, QLoRA-500, QLoRA-1000). Het evaluatieschema werd verfijnd om verklarende inkadering (stilistische en structurele toepassing van premoderne mechanismen zoals epicykels) te ontkoppelen van kosmologisch standpunt (expliciete betrokkenheid bij aarde-gecentreerde of zon-gecentreerde modellen).
• Statistische Analyse: Paarsgewijze permutatietests (Fase 1) en McNemar-testen (Fase 2) werden gebruikt om de significantie van verschuivingen in labeldistributies en transitieratio's tussen modellen te beoordelen.

Belangrijkste Bijdragen

1. Decompositie van Generatiegedrag

Het artikel stelt een conceptuele decompositie voor van LM-generatie in twee deels scheidbare dimensies:

1. Selectie van Verklarende Inkadering: De waarschijnlijkheid van het betreden van een specifiek linguïstisch en structureel regime (bijv. premodern versus modern).
2. Conditionele Standpuntexpressie: Het kosmologische standpunt dat wordt aangenomen gegeven een specifieke verklarende inkadering.

2. Empirische Bevindingen over Domeinadaptatie

• Fase 1 (Kleine Modellen): Fine-tuning op geocentrische teksten induceerde geen coherente verschuiving naar geocentrisch redeneren. In plaats daarvan verhoogde het de ambiguïteit en het gebruik van voorzichtige taal (bijv. "het lijkt", "volgens"), kenmerkend voor scholastisch discours. Hoewel kleine modellen incidenteel lokale heliocentrische fragmenten genereerden, waren deze globaal instabiel en onvoldoende voor duurzaam redeneren.
• Fase 2 (Grote Modellen): Fine-tuning induceerde een massale verschuiving naar premoderne verklarende inkadering (stijging van 31% naar ~65%). Echter, de conditionele waarschijnlijkheid van een geocentrisch standpunt gegeven een premoderne inkadering bleef statistisch stabiel (23–24%).
  • De toename in algemene geocentrische outputs werd primair gedreven door de verhoogde waarschijnlijkheid van het samplen van de premoderne inkadering, niet door een directe modificatie van het standpunt binnen dat kader.
  • Heliocentrisch redeneren werd scherp onderdrukt, vaak vervangen door ambigue of niet-committende premoderne discours in plaats van expliciete geocentrische beweringen.

3. Latente Kennis en Activering

De studie demonstreert dat grote pretrained modellen (zoals Qwen) al latente historische verklarende regimes en geocentrische continuaties bevatten vóór de fine-tuning. Domeinadaptatie fungeert als een mechanisme om de waarschijnlijkheid van het betreden van deze bestaande manifolds te wijzigen, in plaats van het "ontdekken" van nieuwe concepten. Het basismodel kon geocentrische outputs genereren (8%) wanneer geprompt met premoderne registers, wat suggereert dat deze structuren reeds gecodeerd zijn.

Resultatenoverzicht

• Stabiliteit van Conditioneel Standpunt: Over beide fasen bleef de mapping van verklarende inkadering naar kosmologisch standpunt grotendeels invariant. Fine-tuning verschoof de distributie over kaders ($P(\text{Premodern})$), wat vervolgens de algemene standpuntdistributie ($P(\text{Geocentrisch})$) als een secundair effect herverdeelde.
• Onderdrukking van Heliocentrisme: In Fase 2 reduceerde QLoRA fine-tuning de heliocentrische outputs aanzienlijk (van 21,4% naar ~2,7%), maar dit leidde niet tot een evenredige toename van expliciete geocentrische betrokkenheden. In plaats daarvan werd de "verloren" heliocentrische waarschijnlijkheid geabsorbeerd door een toename van ambigue, premoderne ingekaderde outputs.
• Robuustheid: Deze bevindingen hielden stand onder striktere operationele definities van premoderne inkadering en geocentrisch standpunt, wat bevestigt dat de geobserveerde effecten robuust zijn tegen annotatiegrenzen.

Betekenis en Claims

Het artikel claimt dat domeinadaptatie primair de linguïstische kaders hervormt waaruit continuaties worden gegenereerd. Veranderingen in kosmologisch standpunt ontstaan secundair uit deze verschuivingen in inkadering, in plaats van door directe modificatie van de "overtuigingen" of expliciete standpuntvariabelen van het model.

De auteurs betogen dat het behandelen van gegenereerd standpunt als een enkele outputvariabele onvoldoende is. Generatiegedrag moet worden begrepen als een tweestaps-proces: de selectie van een verklarend regime gevolgd door de realisatie van een standpunt binnen dat regime. De resultaten suggereren dat modellen in beperkte historische settings niet noodzakelijkerwijs hun weg "redeneren" naar nieuwe kosmologische modellen; in plaats daarvan samplen ze uit latente regio's van de pretraining-distributie die overeenkomen met specifieke historische verklarende stijlen.

Het werk concludeert dat hoewel kleine modellen een gebrek hebben aan het vermogen tot duurzaam conceptueel redeneren, grote modellen over latente historische structuren beschikken die selectief geactiveerd kunnen worden. De activatie van deze structuren garandeert echter geen coherente verschuiving in het onderliggende kosmologische standpunt, wat de complexiteit benadrukt van het ontwarren van stilistische inkadering van feitelijke betrokkenheid in de generatie van taalmodellen.