Resumen Técnico: Marcos de Adaptación de Dominio y Razonamiento en Modelos de Lenguaje

Planteamiento del Problema

Este trabajo investiga si la adaptación de dominio reconfigura el comportamiento explicativo de los modelos de lenguaje (LM) y cómo dicha adaptación influye en la generación de posturas cosmológicas específicas. La pregunta central de investigación aborda un debate más amplio en la investigación de LM: si los modelos pueden generar estructuras o ideas explicativas que no están representadas directamente en sus datos de entrenamiento, o si la aparente novedad es simplemente la recuperación y recombinación de patrones latentes codificados durante el preentrenamiento.

Para aislar estas variables, los autores utilizan la cosmología histórica como un entorno controlado. A diferencia de los dominios científicos que requieren nuevas entidades (p. ej., virus), la transición de la astronomía geocéntrica a la heliocéntrica implicó la reorganización de conceptos existentes (cuerpos celestes, movimiento) dentro de un marco explicativo diferente. Esto permite a los autores probar si los modelos entrenados en distribuciones restringidas, pre-copernicanas, pueden generar continuaciones adyacentes a estructuras conceptuales (heliocentrismo) ausentes en el corpus de ajuste fino (fine-tuning), y cómo el ajuste fino altera la relación entre el marco explicativo (premoderno vs. moderno) y la postura cosmológica (geocéntrica vs. heliocéntrica).

Metodología

El estudio se lleva a cabo en dos fases complementarias utilizando un corpus controlado de textos astronómicos pre-copernicanos (p. ej., Almagest, Sphaera Mundi, De Caelo) de los cuales se filtraron rigurosamente las referencias heliocéntricas explícitas.

Fase 1: Entrenamiento de Modelo Pequeño desde Cero

• Modelos: Un transformador tipo GPT de 110M de parámetros, solo decodificador.
• Régimen de Entrenamiento:
  • Modelo A: Entrenado desde cero en un corpus de lenguaje general filtrado (Project Gutenberg) con todo el contenido astronómico eliminado para minimizar la exposición a conceptos modernos.
  • Modelo B: Inicializado a partir del Modelo A y ajustado mediante fine-tuning en una mezcla del corpus de astronomía pre-copercnicana y el inglés general (proporción 80/20).
• Evaluación: 1,680 generaciones por modelo a través de cuatro categorías de prompts (astronomía, declarativo, general, preguntas). Los resultados fueron evaluados mediante un LLM-como-juez (Claude Haiku 4.5) para etiquetar la postura cosmológica (geocéntrica, heliocéntrica, ambigua) y el marco explicativo (premoderno vs. moderno).

Fase 2: Adaptación QLoRA de Modelos Grandes

• Modelos: Qwen2.5-7B, un modelo preentrenado grande con fuerte fluidez lingüística y conocimiento moderno latente.
• Adaptación: Ajustado mediante QLoRA (Quantized Low-Rank Adaptation) sobre el mismo corpus pre-copernicano durante 500 y 1,000 iteraciones.
• Evaluación: 560 generaciones por modelo (Base, QLoRA-500, QLoRA-1000). El esquema de evaluación se refinó para desacoplar el marco explicativo (uso estilístico y estructural de maquinaria premoderna como los epiciclos) de la postura cosmológica (compromiso explícito con modelos centrados en la Tierra o en el Sol).
• Análisis Estadístico: Se utilizaron pruebas de permutación pareadas (Fase 1) y pruebas de McNemar (Fase 2) para evaluar la significancia de los cambios en las distribuciones de etiquetas y las tasas de transición entre modelos.

Contribuciones Clave

1. Descomposición del Comportamiento de Generación

El artículo propone una descomposición conceptual de la generación de LM en dos dimensiones parcialmente separables:

1. Selección del Marco Explicativo: La probabilidad de entrar en un régimen lingüístico y estructural específico (p. ej., premoderno vs. moderno).
2. Expresión de Postura Condicional: La postura cosmológica adoptada dado un marco explicativo específico.

2. Hallazgos Empíricos sobre la Adaptación de Dominio

• Fase 1 (Modelos Pequeños): El ajuste fino en textos geocéntricos no indujo un cambio coherente hacia el razonamiento geocéntrico. En su lugar, aumentó la ambigüedad y el uso de lenguaje de cautela (p. ej., "parece", "según"), característico del discurso escolástico. Aunque los modelos pequeños ocasionalmente generaron fragmentos heliocéntricos locales, estos eran globalmente inestables e insuficientes para un razonamiento sostenido.
• Festa 2 (Modelos Grandes): El ajuste fino indujo un cambio masivo hacia el encuadre explicativo premoderno (aumentando de 31% a ~65%). Sin embargo, la probabilidad condicional de una postura geocéntrica dado un marco premoderno se mantuvo estadísticamente estable (23–24%).
  • El aumento en las salidas geocéntricas totales fue impulsado principalmente por el aumento en la probabilidad de muestrear el marco premoderno, no por una modificación directa de la postura dentro de ese marco.
  • El razonamiento heliocéntrico fue fuertemente suprimido, siendo reemplazado a menudo por un discurso premoderno ambiguo o no comprometido en lugar de afirmaciones geocéntricas explícitas.

3. Conocimiento Latente y Activación

El estudio demuestra que los modelos preentrenados grandes (como Qwen) ya contienen regímenes explicativos históricos latentes y continuaciones geocéntricas antes del ajuste fino. La adaptación de dominio actúa como un mecanismo para alterar la probabilidad de entrar en estos manifolds existentes en lugar de "descubrir" nuevos conceptos. El modelo base podía generar salidas geocéntricas (8%) al ser provocado con registros premodernos, lo que sugiere que estas estructuras están pre-codificadas.

Resumen de Resultados

• Estabilidad de la Postura Condicional: A través de ambas fases, el mapeo del marco explicativo a la postura cosmológica permaneció mayormente invariante. El ajuste fino desplazó la distribución sobre los marcos ($P(\text{Premoderno})$), lo que subsecuentemente redistribuyó la distribución general de la postura ($P(\text{Geocéntrico})$) como un efecto secundario.
• Supresión del Heliocentrismo: En la Fase 2, el ajuste fino de QLoRA redujo significativamente las salidas heliocéntricas (de 21.4% a ~2.7%), pero no aumentó proporcionalmente los compromisos geocéntricos explícitos. En su lugar, la "probabilidad heliocéntrica perdida" fue absorbida por un aumento en las salidas de encuadre premoderno y ambiguo.
• Robustez: Estos hallazgos se mantuvieron bajo definiciones operativas más estrictas de encuadre premoderno y postura geocéntrica, confirmando que los efectos observados son robustos a los límites de anotación.

Significado y Reivindicaciones

El artículo sostiene que la adaptación de dominio principalmente reconfigura los marcos lingüísticos desde los cuales se generan las continuaciones. Los cambios en la postura cosmológica emergen secundariamente de estos cambios en el encuadre, en lugar de a través de una modificación directa de las "creencias" del modelo o de las variables de postura explícita.

Los autores argumentan que tratar la postura generada como una única variable de salida es insuficiente. En su lugar, el comportamiento de generación debe entenderse como un proceso de dos pasos: la selección de un régimen explicativo seguido de la realización de una postura dentro de ese régimen. Los resultados sugieren que, en entornos históricos restringidos, los modelos no necesariamente "razonan" su camino hacia nuevos modelos cosmológicos; más bien, muestrean de regiones latentes de la distribución de preentrenamiento que corresponden a estilos explicativos históricos específicos.

El trabajo concluye que, si bien los modelos pequeños carecen de la capacidad para un razonamiento conceptual sostenido, los modelos grandes poseen estructuras históricas latentes que pueden ser activadas selectivamente. Sin embargo, la activación de estas estructuras no garantiza un cambio coherente en la postura cosmológica subyacente, lo que resalta la complejidad de separar el encuadre estilístico del compromiso factual en la generación de modelos de lenguaje.