Resumen Técnico: Generalización Composicional en Modelos Autoregresivos mediante Composición de Logits

Enunciado del Problema

Componer modelos generativos especializados para crear sistemas modulares, reutilizables y controlables sigue siendo un desafío central en la investigación de modelos de lenguaje grandes (LLM). Los enfoques existentes para modelos autoregresivos operan típicamente en espacio de parámetros (por ejemplo, interpolación de pesos, aritmética de tareas, fusión basada en dispersidad) o en espacio de arquitectura (por ejemplo, Mezcla de Expertos con enrutamiento dinámico). Si bien estos métodos combinan puntos de control ajustados, a menudo carecen de garantías explícitas y estáticas respecto a la distribución de salida resultante o no proporcionan una regla principista sobre cómo interactúan los componentes sin interferencia.

Por el contrario, los modelos de difusión han demostrado éxito en la generación composicional mediante la combinación lineal de funciones de puntuación, una perspectiva formalizada recientemente por Bradley et al. [2025] a través del concepto de composición proyectiva. Sin embargo, este marco no se ha extendido a los modelos autoregresivos, donde la generación es inherentemente secuencial y condicionada a un prefijo en evolución, lo que hace que la aplicabilidad de habilidades específicas dependa del estado actual de la secuencia generada.

Metodología

Los autores proponen una estrategia de composición selectiva para sistemas autoregresivos (como Transformers) que opera directamente en espacio de probabilidades en lugar de espacio de parámetros. Dado un modelo de fondo $p_b$ y un conjunto de modelos especializados $\{p_1, \dots, p_k\}$, el modelo compuesto $\hat{p}$ se define mediante una regla aritmética explícita aplicada a las distribuciones condicionales del siguiente token:

$$\hat{p}(y_t | x, y_{<t}) = \frac{1}{Z_t} p_b(y_t | x, y_{<t}) \prod_{i=1}^k \frac{p_i(y_t | x, y_{<t})}{p_b(y_t | x, y_{<t})}$$

donde $Z_t$ es una constante de normalización. Esta formulación efectivamente suma los log-probabilidades de los expertos y resta los log-probabilidades del modelo de fondo.

Marco Teórico

El artículo establece las condiciones bajo las cuales esta composición es demostrablemente correcta y preserva los comportamientos distintos de los modelos componentes:

1. Condicionales Factorizados (Espacio de Tokens): Los autores definen una propiedad donde el espacio de generación se particiona en conjuntos disjuntos de índices de tokens (máscaras). Si cada modelo especializado $p_i$ actúa independientemente sobre su máscara designada $M_i$ y coincide con el modelo de fondo $p_b$ en el resto, la composición es proyectiva. Esto significa que la distribución marginal del modelo compuesto en cualquier máscara $M_i$ es idéntica a la del modelo especializado $p_i$.
2. Factorizabilidad de Habilidades (Entorno Secuencial): Reconociendo que las tareas autoregresivas (como pruebas trigonométricas) dependen del historial de tokens generados, los autores introducen la factorizabilidad de habilidades. Un modelo es factorizable en habilidades si su comportamiento puede descomponerse en una fase de fondo, una fase de habilidad específica (definida por tiempos de parada $\tau_1, \tau_2$) y un retorno al fondo.
3. Factorizabilidad Conjunta: Para que una colección de modelos se componga correctamente, sus intervalos activos (donde se desvían del fondo) deben ser disjuntos por pares. Bajo esta condición, el modelo compuesto aplica cada habilidad exactamente durante su intervalo designado y vuelve al modelo de fondo en caso contrario.
4. Extensión al Espacio de Características: El marco se extiende a espacios de características abstractas mediante un mapa invertible $D$. Si las distribuciones de empuje satisfacen la propiedad de condicionales factorizados en el espacio de características, la composición sigue siendo válida, permitiendo la combinación de modelos que pueden no tener dominios de tokens disjuntos pero sí dominios "conceptuales" disjuntos.
5. Generalización de Longitud: El artículo argumenta que si las suposiciones de factorización y las garantías de los componentes se mantienen uniformemente en una longitud objetivo, el modelo compuesto hereda el comportamiento de generalización de longitud de sus componentes.

Conexión con Fusión de Modelos

Los autores establecen un vínculo teórico entre su composición en espacio de probabilidades y la Aritmética de Tareas (Ilharco et al. [2023]). Demuestran que, en un entorno lineal, sumar vectores de tareas en el espacio de parámetros es matemáticamente equivalente a la composición multiplicativa de distribuciones de salida. Esto sugiere que el éxito empírico de las técnicas de fusión de modelos puede explicarse por un principio subyacente de composición aditiva donde las actualizaciones de tareas afectan regiones disjuntas del espacio de salida.

Contribuciones Clave

• Marco Principista: Introducción de un marco en espacio de probabilidades para componer modelos autoregresivos, extendiendo el concepto de composición proyectiva desde modelos de difusión hasta la generación secuencial.
• Garantías de Corrección: Identificación de condiciones específicas (condicionales factorizados y factorizabilidad conjunta) bajo las cuales la composición es demostrablemente correcta, asegurando que los componentes preserven el control sobre sus subespacios designados sin interferencia.
• Generalización de Longitud: Demostración de que la composición preserva el comportamiento de generalización de longitud cuando las suposiciones de factorización se mantienen uniformemente en la longitud objetivo.
• Puente Teórico: Conexión del marco propuesto con métodos existentes de fusión de modelos (específicamente Aritmética de Tareas), proporcionando una explicación teórica de por qué ciertas heurísticas de fusión tienen éxito.
• Validación Empírica: Verificación del enfoque tanto en tareas sintéticas como en puntos de referencia de modelos de lenguaje grandes.

Resultados

Los autores validan su enfoque mediante dos configuraciones experimentales principales:

1. Tarea de Juguete Controlada: En una tarea de reemplazo de letras donde los modelos fueron entrenados para reemplazar caracteres específicos (por ejemplo, 'A' $\to$ 'B', 'C' $\to$ 'D'), el modelo compuesto logró un 100% de éxito al realizar ambas transformaciones simultáneamente. Esto confirmó que el operador de composición integra correctamente habilidades disjuntas.
2. Puntos de Referencia de LLM: Utilizando un modelo base Gemma 2 2B ($p_{base}$) y dos expertos ajustados ($p_{math}$ y $p_{coding}$), los autores compusieron un modelo $\hat{p}$ y lo evaluaron en cuatro puntos de referencia:
   • Programación: En HumanEval+ y MBPP+, el modelo compuesto superó al experto de programación por sí solo (30.5 vs. 24.4 y 39.4 vs. 38.1, respectivamente).
   • Matemáticas: En GSM8K y MATH, el modelo compuesto mantuvo un rendimiento significativo del experto matemático (41.2 vs. 50.2 y 24.2 vs. 25.5), demostrando que la habilidad de programación no interfirió catastróficamente con el razonamiento matemático.
   • Limitación: Los autores señalan que componer más de dos expertos condujo a una degradación aguda en la calidad de la generación, probablemente debido a la inestabilidad en la predicción del token de fin de secuencia y al comportamiento de terminación.

Significado y Afirmaciones

El artículo afirma proporcionar una comprensión principista de cuándo y por qué la composición y fusión de modelos tienen éxito en sistemas autoregresivos. Al desplazar el enfoque del espacio de parámetros al espacio de probabilidades, los autores identifican condiciones bajo las cuales las interacciones entre modelos permanecen estables y no interferentes.

El significado radica en ofrecer una regla de composición explícita y estática con garantías teóricas, en contraste con métodos de enrutamiento dinámico o promedios de parámetros heurísticos. El trabajo sugiere que la composición de modelos autoregresivos puede entenderse como una operación probabilística estructurada, lo que potencialmente permitiría la construcción de LLM más modulares y controlables. Sin embargo, los autores permanecen modestos, reconociendo que sus suposiciones de factorización pueden no cumplirse completamente en la práctica para todos los modelos preentrenados y que la evaluación empírica actualmente tiene un alcance limitado.