Résumé technique : Adaptation de domaine et cadres de raisonnement dans les modèles de langage

Énoncé du problème

Ce travail examine si l'adaptation de domaine remodèle le comportement explicatif des modèles de langage (LM) et comment une telle adaptation influence la génération de positions cosmologiques spécifiques. La question de recherche centrale aborde un débat plus large dans la recherche sur les LM : les modèles peuvent-ils générer des structures ou des idées explicatives non représentées directement dans leurs données d'entraînement, ou la nouveauté apparente n'est-elle qu'une récupération et une recombinaison de motifs latents encodés lors du pré-entraînement ?

Pour isoler ces variables, les auteurs utilisent la cosmologie historique comme cadre contrôlé. Contrairement aux domaines scientifiques nécessitant de nouvelles entités (ex. : virus), la transition de l'astronomie géocentrique à l'astronomie héliocentrique impliquait la réorganisation de concepts existants (corps célestes, mouvement) au sein d'un cadre explicatif différent. Cela permet aux auteurs de tester si des modèles entraînés sur des distributions pré-coperniciennes contraintes peuvent générer des continuations adjacentes à des structures conceptuelles (l'héliocentrisme) absentes du corpus de fine-tuning, et comment le fine-tuning modifie la relation entre le cadre explicatif (prémoderne vs moderne) et la position cosmologique (géocentrique vs héliocentrique).

Méthodologie

L'étude est menée en deux phases complémentaires utilisant un corpus contrôlé de textes astronomiques pré-coperniciens (ex. : Almagest, Sphaera Mundi, De Caelo) dont les références explicites à l'héliocentrisme ont été rigoureusement filtrées.

Phase 1 : Entraînement de petits modèles à partir de zéro

• Modèles : Un transformeur de type GPT, décodeur uniquement, à 110 millions de paramètres.
• Régime d'entraînement :
  • Modèle A : Entraîné à partir de zéro sur un corpus de langage général filtré (Project Gutenberg) où tout contenu astronomique a été supprimé pour minimiser l'exposition aux concepts modernes.
  • Modèle B : Initialisé à partir du Modèle A et soumis à un fine-tuning sur un mélange de corpus d'astronomie pré-copernicienne et d'anglais général (ratio 80/20).
• Évaluation : 1 680 générations par modèle à travers quatre catégories de prompts (astronomie, déclaratif, général, questions). Les sorties ont été évaluées par un LLM-en-tant-que-juge (Claude Haiku 4.5) pour étiqueter la position cosmologique (géocentrique, héliocentrique, ambiguë) et le cadre explicatif (prémoderne vs moderne).

Phase 2 : Adaptation QLoRA de grands modèles

• Modèles : Qwen2.5-7B, un grand modèle pré-entraîné possédant une forte fluidité linguistique et des connaissances modernes latentes.
• Adaptation : Fine-tuné via QLoRA (Quantized Low-Rank Adaptation) sur le même corpus pré-copernicien pour 500 et 1 000 itérations.
• Évaluation : 560 générations par modèle (Base, QLoRA-500, QLoRA-1000). Le schéma d'évaluation a été affiné pour découpler le cadre explicatif (utilisation stylistique et structurelle de la machinerie prémoderne comme les épicycles) de la position cosmologique (engagement explicite envers les modèles centrés sur la Terre ou sur le Soleil).
• Analyse statistique : Des tests de permutation appariés (Phase 1) et des tests de McNemar (Phase 2) ont été utilisés pour évaluer la signification des changements dans les distributions d'étiquettes et les taux de transition entre les modèles.

Contributions clés

1. Décomposition du comportement de génération

Le papier propose une décomposition conceptuelle de la génération par les LM en deux dimensions partiellement séparables :

1. Sélection du cadre explicatif : La probabilité d'entrer dans un régime linguistique et structurel spécifique (ex. : prémoderne vs moderne).
2. Expression de la position conditionnelle : La position cosmologique adoptée étant donné un cadre explicatif spécifique.

2. Résultats empiriques sur l'adaptation de domaine

• Phase 1 (Petits modèles) : Le fine-tuning sur des textes géocentriques n'a pas induit de changement cohérent vers un raisonnement géocentrique. Au lieu de cela, il a augmenté l'ambiguïté et l'usage d'un langage de prudence (ex. : « il semble », « selon »), caractéristique du discours scolastique. Bien que les petits modèles aient occasionnellement généré des fragments héliocentriques locaux, ceux-ci étaient globalement instables et insuffisants pour un raisonnement soutenu.
• Phase 2 (Grands modèles) : Le fine-tuning a induit un basculement massif vers un cadre explicatif prémoderne (passant d'environ 31 % à 65 %). Cependant, la probabilité conditionnelle d'une position géocentrique étant donné un cadre prémoderne est restée statistiquement stable (23–24 %).
  • L'augmentation des sorties géocentriques globales a été principalement pilotée par l'augmentation de la probabilité d'échantillonner le cadre prémoderne, et non par une modification directe de la position au sein de ce cadre.
  • Le raisonnement héliocentrique a été fortement supprimé, souvent remplacé par un discours prémoderne ambigu ou non engagé plutôt que par des assertions géocentriques explicites.

3. Connaissance latente et activation

L'étude démontre que les grands modèles pré-entraînés (comme Qwen) contiennent déjà des régimes explicatifs historiques latents et des continuations géocentriques avant le fine-tuning. L'adaptation de domaine agit comme un mécanisme pour altérer la probabilité d'entrer dans ces variétés existantes plutôt que pour « découvrir » de nouveaux concepts. Le modèle de base pouvait générer des sorties géocentriques (8 %) lorsqu'il était sollicité avec des registres prémodernes, suggérant que ces structures sont pré-encodées.

Résumé des résultats

• Stabilité de la position conditionnelle : À travers les deux phases, la correspondance entre le cadre explicatif et la position cosmologique est restée largement invariante. Le fine-tuning a déplacé la distribution sur les cadres ($P(\text{Prémoderne})$), ce qui a ensuite redistribué la distribution globale des positions ($P(\text{Géocentrique})$) comme un effet secondaire.
• Suppression de l'héliocentrisme : Dans la Phase 2, le fine-tuning par QLoRA a réduit significativement les sorties héliocentriques (de 21,4 % à ~2,7 %) mais n'a pas augmenté proportionnellement les engagements géocentriques explicites. Au lieu de cela, la probabilité héliocentrique « perdue » a été absorbée par une augmentation des sorties à cadre prémoderne et ambigu.
• Robustesse : Ces résultats se sont maintenus sous des définitions opérationnelles plus strictes du cadrage prémoderne et de la position géocentrique, confirmant que les effets observés sont robustes aux frontières d'annotation.

Signification et affirmations

Le papier affirme que l'adaptation de domaine remodèle principalement les cadres linguistiques à partir desquels les continuations sont générées. Les changements de position cosmologique émergent secondairement de ces changements de cadrage plutôt que par une modification directe des « croyances » du modèle ou des variables de position explicites.

Les auteurs soutiennent que traiter la position générée comme une variable de sortie unique est insuffisant. Le comportement de génération doit être compris comme un processus en deux étapes : la sélection d'un régime explicatif suivie de la réalisation d'une position au sein de ce régime. Les résultats suggèrent que dans des contextes historiques contraints, les modèles ne « raisonnent » pas nécessairement pour parvenir à de nouveaux modèles cosmologiques ; ils échantillonnent plutôt des régions latentes de la distribution de pré-entraînement qui correspondent à des styles explicatifs historiques spécifiques.

L'étude conclut que si les petits modèles manquent de capacité pour un raisonnement conceptuel soutenu, les grands modèles possèdent des structures historiques latentes qui peuvent être activées sélectivement. Cependant, l'activation de ces structures ne garantit pas un changement cohérent de la position cosmologique sous-jacente, soulignant la complexité de distinguer le cadrage stylistique de l'engagement factuel dans la génération par les modèles de langage.