💬 NLP

Domain Adaptation and Reasoning Frameworks in Language Models: A Controlled Experiment with Historical Cosmology

Dieses kontrollierte Experiment zeigt, dass die Domänenadaption in Sprachmodellen primär die linguistischen Erklärungsrahmen umgestaltet, die für die Generierung verwendet werden, wobei Verschiebungen in der kosmologischen Haltung sich sekundär aus diesen strukturellen Veränderungen ergeben, anstatt aus einer direkten Modifikation der zugrunde liegenden Überzeugungen des Modells.

Ursprüngliche Autoren: Francesco De Bernardis

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Francesco De Bernardis

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr intelligenten, aber geistlich leeren Roboter. Sie wollen ihm beibringen, über das Universum zu sprechen, aber Sie haben eine strikte Regel: Sie dürfen ihm keine Bücher zeigen, die nach dem Jahr 1500 geschrieben wurden. Sie wollen sehen, ob der Roboter, indem Sie ihn nur mit alten Geschichten füttern, in denen Menschen glaubten, die Erde sei das Zentrum von allem, auch dies „lernt“ – oder ob er es versehentlich herausfindet, dass sich die Erde tatsächlich um die Sonne bewegt.

Dieses Paper ist wie ein kontrolliertes Experiment, um genau das zu testen. Die Forscher führten zwei verschiedene Versionen dieses Tests durch.

Das Setup: Zwei verschiedene Roboter

Phase 1: Der kleine, unbeschriebene Roboter
Zuerst bauten sie einen winzigen Roboter von Grund auf neu. Sie fütterten ihn mit einem riesigen Stapel alter englischer Bücher (wie Romanen und Geschichtsbüchern), entfernten aber sorgfältig alle Erwähnungen moderner Wissenschaft. Dann gaben sie ihm eine spezielle Diät aus nur antiken Astronomie-Büchern (wie Ptolemäus und Aristoteles), die besagen, dass die Erde stationär ist.

Das Ergebnis: Dieser kleine Roboter war etwas verwirrt. Manchmal, wenn man ihn nach den Planeten fragte, stakelte er: „Vielleicht bewegt sich die Erde?“ – obwohl er das nie gelesen hatte. Aber diese Gedanken waren ungeordnet, kurz und brachen schnell in sich zusammen. Er konnte kein solides Argument aufbauen.
Der Twist: Überraschenderweise wurde er, als man ihm die antiken Astronomie-Bücher gab, nicht überzeugter davon, dass die Erde stationär ist. Stattdessen wurde er einfach zögerlicher. Er begann, vornehmere, altmodische Wörter wie „es scheint“ oder „laut Gelehrten“ zu verwenden, aber er hörte auf, feste Behauptungen über irgendetwas aufzustellen. Er wurde zu einem Meister darin, wie ein alter Gelehrter zu klingen, ohne dabei wirklich Stellung zu beziehen.

Phase 2: Der große, erfahrene Roboter
Als Nächstes nahmen sie einen riesigen, superintelligenten Roboter, der bereits das gesamte Internet (einschließlich moderner Wissenschaftsbücher) gelesen hatte. Dieser Roboter wusste bereits, dass die Erde die Sonne umkreist. Dann versuchten sie, ihn mit denselben antiken, erdzentrierten Büchern „neu zu trainieren“, indem sie lediglich einige Einstellungen anpassten (eine Technik namens QLoRA), anstatt sein ganzes Gehirn neu zu schreiben.

Das Ergebnis: Dieser große Roboter war viel besser darin, zu sprechen. Wenn man ihn Fragen stellte, fing er sofort an, wie ein mittelalterlicher Gelehrter zu klingen. Er benutzte Wörter wie „himmlische Sphären“ und „Epizykel“ (alte Wege, um die Bewegung von Planeten zu beschreiben).
Die große Entdeckung: Hier ist der wichtigste Teil. Die Forscher erwarteten, dass der Roboter, indem man ihn mit antiken Büchern fütterte, anfangen würde zu glauben, dass die Erde stationär ist.
- Was tatsächlich geschah: Der Roboter änderte nicht seine Überzeugungen (seinen Standpunkt). Er änderte stattdessen nur sein Kostüm.
- Denken Sie an einen Schauspieler. Vor dem Training konnte der Schauspieler einen modernen Wissenschaftler oder einen mittelalterlichen Mönch spielen. Nach dem Training war dieser Schauspieler viel eher bereit, das Kostüm des mittelalterlichen Mönchs anzulegen. Aber sobald das Kostüm an war, fing der Schauspieler nicht unbedingt an, zu glauben, dass er ein Mönch sei; er sprach einfach in diesem Stil. Manchmal, selbst während er das „Erde ist stationär“-Kostüm trug, sagte der Schauspieler immer noch: „Eigentlich bewegt sich die Erde“ oder sagte einfach: „Es ist kompliziert“.

Die Kernanalogie: Die Bibliothek vs. der Bibliothekar

Um den Hauptpunkt des Papers zu verstehen, stellen Sie sich eine Bibliothek vor:

Der „Erklärungsrahmen“ (Explanatory Frame) ist die Abteilung der Bibliothek: Dies ist der Stil der Bücher. Ist es die Abteilung „Moderne Wissenschaft“ oder die Abteilung „Antike Geschichte“?
Der „kosmologische Standpunkt“ (Cosmological Stance) ist die spezifische Meinung innerhalb des Buches: Sagt das Buch „Die Erde bewegt sich“ oder „Die Erde steht still“?

Das Experiment zeigte, dass Feintuning (Training) so ist, als würde man den Roboter in eine andere Abteilung der Bibliothek bewegen.

Als sie den Roboter mit antiken Texten trainierten, gelang es ihnen, ihn von der Abteilung „Moderne Wissenschaft“ in die Abteilung „Antike Geschichte“ zu bewegen.
Sobald sich der Roboter jedoch in der Abteilung „Antike Geschichte“ befand, las er jedoch nicht automatisch nur die Bücher, die sagen, dass die Erde stationär ist. Er las alle Bücher in dieser Abteilung, einschließlich derer, die vage, widersprüchlich oder sogar andeuteten, dass sich die Erde bewegt.

Die Schlussfolgerung in einfachem Deutsch

Das Paper kommt zu dem Schluss, dass die Änderung dessen, worüber ein Sprachmodell über die Welt spricht (sein Standpunkt), hauptsächlich ein Nebeneffekt der Änderung dessen ist, wie es spricht (sein Stil).

Das Training zwang den Roboter nicht dazu, zu „entdecken“, dass die Erde stationär ist.
Das Training machte den Roboter nur viel wahrscheinlicher dazu, in der Stimme der Vergangenheit zu sprechen.
Da die „Stimme der Vergangenheit“ normalerweise darüber spricht, dass die Erde stationär ist, schien es, als würde der Roboter dies öfter glauben. Aber wenn man genau hinsieht, folgt der Roboter einfach dem Skript der alten Bücher. Er hat seine Meinung nicht grundlegend geändert; er hat nur seinen Akzent und seinen Wortschatz geändert.

Kurz gesagt: Man kann einen Roboter lehren, wie ein mittelalterlicher Astronom zu klingen, aber das bedeutet nicht, dass er vergessen hat, dass die Erde die Sonne umkreist. Es bedeutet nur, dass er wahrscheinlicher einen mittelalterlichen Hut aufsetzt, wenn er spricht.

Technisches Resümee: Domänenadaption und Reasoning-Frameworks in Sprachmodellen

Problemstellung

Diese Arbeit untersucht, ob Domänenadaption das erklärende Verhalten von Sprachmodellen (LMs) umgestaltet und wie eine solche Adaption die Generierung spezifischer kosmologischer Positionen beeinflusst. Die zentrale Forschungsfrage adresst eine breitere Debatte in der LM-Forschung: Ob Modelle in der Lage sind, erklärende Strukturen oder Ideen zu generieren, die nicht direkt in ihren Trainingsdaten repräsentiert sind, oder ob scheinbare Neuartigkeit lediglich die Abrufung und Rekombination latenter Muster ist, die während des Pretrainings kodiert wurden.

Um diese Variablen zu isolieren, nutzen die Autoren die historische Kosmologie als kontrollierte Umgebung. Im Gegensatz zu wissenschaftlichen Domänen, die neue Entitäten erfordern (z. B. Viren), beinhaltete der Übergang von der geozentrischen zur heliozentrischen Astronomie die Reorganisation bestehender Konzepte (Himmelskörper, Bewegung) innerhalb eines anderen erklärenden Rahmens. Dies ermöglicht es den Autoren zu testen, ob Modelle, die auf beschränkten, prä-kopernikanischen Verteilungen trainiert wurden, in der Lage sind, Fortsetzungen zu generieren, die angrenzend an konzeptionelle Strukturen (Heliozentrismus) liegen, die im Fine-Tuning-Korpus fehlen, und wie das Fine-Tuning die Beziehung zwischen erklärendem Framing (prämodern vs. modern) und kosmologischer Position (geozentrisch vs. heliozentrisch) verändert.

Methodik

Die Studie wird in zwei komplementären Phasen unter Verwendung eines kontrollierten Korpus prä-kopernikanischer astronomischer Texte (z. B. Almagest, Sphaera Mundi, *De Caelo) durchgeführt, aus denen explizite heliozentrische Referenzen rigoros herausgefiltert wurden.

Phase 1: Training kleiner Modelle von Grund auf

Modelle: Ein 110-Millionen-Parameter-Decoder-only GPT-ähnlicher Transformer.
Trainingsregime:
- Modell A: Von Grund auf auf einem gefilterten allgemeinsprachlichen Korpus (Project Gutenberg) trainiert, wobei alle astronomischen Inhalte entfernt wurden, um die Exposition gegenüber modernen Konzepten zu minimieren.
- Modell B: Initialisiert von Modell A und feinjustiert auf einer Mischung aus dem prä-kopernikanischen Astronomie-Korpus und allgemeinem Englisch (80/20-Verhältnis).
Evaluierung: 1.680 Generierungen pro Modell über vier Prompt-Kategorien (Astronomie, deklarativ, allgemein, Fragen). Die Ausgaben wurden mittels eines LLM-as-Judge (Claude Haiku 4.5) evaluiert, um die kosmologische Position (geozentrisch, heliozentrisch, ambivalent) und das erklärende Framing (prämodern vs. modern) zu labeln.

Phase 2: QLoRA-Adaption großer Modelle

Modelle: Qwen2.5-7B, ein großes vortrainiertes Modell mit starker linguistischer Fluenz und latentem modernem Wissen.
Adaption: Feinjustiert mittels QLoRA (Quantized Low-Rank Adaptation) auf demselben prä-kopernikanischen Korpus über 500 und 1.000 Iterationen.
Evaluierung: 560 Generierungen pro Modell (Base, QLoRA-500, QLoRA-1000). Das Evaluierungsschema wurde verfeinert, um das erklärende Framing (stilistische und strukturelle Verwendung prämoderner Mechanismen wie Epizykel) vom kosmologischen Standpunkt (explizite Bindung an erdzentrierte oder sonnenzentrierte Modelle) zu entkoppeln.
Statistische Analyse: Paarige Permutationstests (Phase 1) und McNemar-Tests (Phase 2) wurden verwendet, um die Signifikanz der Verschiebungen in den Label-Verteilungen und Transitionsraten zwischen den Modellen zu bewerten.

Zentrale Beiträge

1. Dekomposition des Generierungsverhaltens

Das Paper schlägt eine konzeptionelle Dekomposition der LM-Generierung in zwei teilweise separierbare Dimensionen vor:

Selektion des erklärenden Frames: Die Wahrscheinlichkeit, in ein spezifisches linguistisches und strukturelles Regime einzutreten (z. B. prämodern vs. modern).
Bedingte Ausdrucksweise der Position: Die kosmologische Position, die gegeben einen spezifischen erklärenden Frame eingenommen wird.

2. Empirische Befunde zur Domänenadaption

Phase 1 (Kleine Modelle): Das Fine-Tuning auf geozentrischen Texten induzierte keine kohärente Verschiebung hin zu geozentrischem Denken. Stattdessen erhöhte es die Ambivalenz und die Verwendung von Hedging-Sprache (z. B. „es scheint“, „laut...“), was charakteristisch für den scholastischen Diskurs ist. Während kleine Modelle gelegentlich lokale heliozentrische Fragmente generierten, waren diese global instabil und unzureichend für nachhaltiges Reasoning.
Phase 2 (Große Modelle): Das Fine-Tuning induzierte eine massive Verschiebung hin zum prämodernen erklärenden Framing (Anstieg von ~~31 % auf ~65 %). Die bedingte Wahrscheinlichkeit einer geozentrischen Position gegeben einen prämodernen Frame blieb jedoch statistisch stabil (~~23–24 %).
- Der Anstieg der insgesamt geozentrischen Ausgaben wurde primär durch die erhöhte Wahrscheinlichkeit der Abtastung des prämodernen Frames getrieben, nicht durch eine direkte Modifikation der Position innerhalb dieses Frames.
- Heliozentrisches Denken wurde stark unterdrückt und oft durch ambivalente oder unentschlossene prämoderne Diskurse ersetzt, statt durch explizite geozentrische Behauptungen.

3. Latentes Wissen und Aktivierung

Die Studie zeigt, dass große vortrainierte Modelle (wie Qwen) bereits latente historische erklärende Regime und geozentrische Fortsetzungen vor dem Fine-Tuning enthalten. Domänenadaption fungiert als Mechanismus, um die Wahrscheinlichkeit des Eintritts in diese bereits existierenden Manifolds zu verändern, anstatt neue Konzepte zu „entdecken“. Das Basismodell konnte geozentrische Ausgaben (8 %) generieren, wenn es mit prämodernen Registern gepromptet wurde, was darauf hindeutet, dass diese Strukturen vor-kodiert sind.

Zusammenfassung der Ergebnisse

Stabilität der bedingten Position: Über beide Phasen hinweg blieb die Abbildung vom erklärenden Frame auf die kosmologische Position weitgehend invariant. Das Fine-Tuning verschob die Verteilung über die Frames ( $P(\text{Prämodern})$ ), was als Sekundäreffekt die gesamte Positionsverteilung ( $P(\text{Geozentrisch})$ ) umverteilte.
Unterdrückung des Heliozentrismus: In Phase 2 reduzierte das QLoRA-Fine-Tuning die heliozentrischen Ausgaben signifikant (von 21,4 % auf ~2,7 %), führte aber nicht proportional zu einem Anstieg expliziter geozentrischer Bindungen. Stattdessen wurde die „verlorene“ heliozentrische Wahrscheinlichkeit durch einen Anstieg ambivalenter, prämodern gerahmter Ausgaben absorbiert.
Robustheit: Diese Befunde hielten auch unter strengeren operationalen Definitionen von prämodernem Framing und geozentrischem Standpunkt stand, was bestätigt, dass die beobachteten Effekte gegenüber Annotationsgrenzen robust sind.

Bedeutung und Thesen

Das Paper behauptet, dass Domänenadaption primär die linguistischen Rahmenbedingungen umgestaltet, aus denen Fortsetzungen generiert werden. Änderungen der kosmologischen Position entstehen sekundär aus diesen Verschiebungen im Framing und nicht durch eine direkte Modifikation der „Überzeugungen“ oder expliziten Positionsvariablen des Modells.

Die Autoren argumenten, dass die Behandlung der generierten Position als eine einzige Ausgabevariable unzureichend ist. Das Generierungsverhalten sollte stattdessen als ein zweistufiger Prozess verstanden werden: die Selektion eines erklärenden Regimes gefolgt von der Realisierung einer Position innerhalb dieses Regimes. Die Ergebnisse legen nahe, dass Modelle in beschränkten historischen Settings nicht notwendigerweise ihren Weg zu neuen kosmologischen Modellen durch „Reasoning“ finden, sondern vielmehr aus latenten Regionen der Pretraining-Verteilung sampeln, die spezifischen historischen Erklärungsstilen entsprechen.

Die Arbeit kommt zu dem Schluss, dass kleine Modelle zwar nicht über die Kapazität für nachhaltiges konzeptionelles Reasoning verfügen, große Modelle jedoch latente historische Strukturen besitzen, die selektiv aktiviert werden können. Die Aktivierung dieser Strukturen garantiert jedoch keinen kohärenten Wechsel in der zugrunde liegenden kosmologischen Position, was die Komplexität der Trennung von stilistischem Framing und faktischer Bindung in der Generierung von Sprachmodellen verdeutlicht.