Resumo Técnico: Generalização Composicional em Modelos Autoregressivos via Composição de Logits

Declaração do Problema

Compor modelos generativos especializados para criar sistemas que sejam modulares, reutilizáveis e controláveis permanece um desafio central na pesquisa de modelos de linguagem de grande escala (LLMs). As abordagens existentes para modelos autoregressivos operam tipicamente no espaço de parâmetros (por exemplo, interpolação de pesos, aritmética de tarefas, fusão baseada em esparsidade) ou no espaço de arquitetura (por exemplo, Mistura de Especialistas com roteamento dinâmico). Embora esses métodos combinem checkpoints ajustados, eles frequentemente carecem de garantias explícitas e estáticas regarding a distribuição de saída resultante ou falham em fornecer uma regra principial para como os componentes interagem sem interferência.

Conversamente, modelos de difusão demonstraram sucesso na geração composicional combinando linearmente funções de pontuação, uma perspectiva recentemente formalizada por Bradley et al. [2025] através do conceito de composição projetiva. No entanto, essa estrutura não foi estendida a modelos autoregressivos, onde a geração é inerentemente sequencial e condicionada a um prefixo em evolução, tornando a aplicabilidade de habilidades específicas dependente do estado atual da sequência gerada.

Metodologia

Os autores propõem uma estratégia de composição seletiva para sistemas autoregressivos (como Transformers) que opera diretamente no espaço de probabilidades em vez do espaço de parâmetros. Dado um modelo de fundo $p_b$ e um conjunto de modelos especializados $\{p_1, \dots, p_k\}$, o modelo composto $\hat{p}$ é definido por uma regra aritmética explícita aplicada às distribuições do próximo token condicional:

$$\hat{p}(y_t | x, y_{<t}) = \frac{1}{Z_t} p_b(y_t | x, y_{<t}) \prod_{i=1}^k \frac{p_i(y_t | x, y_{<t})}{p_b(y_t | x, y_{<t})}$$

onde $Z_t$ é uma constante de normalização. Essa formulação efetivamente adiciona os log-probabilidades dos especialistas e subtrai os log-probabilidades do modelo de fundo.

Estrutura Teórica

O artigo estabelece condições sob as quais essa composição é comprovadamente correta e preserva os comportamentos distintos dos modelos componentes:

1. Condicionais Fatorizadas (Espaço de Tokens): Os autores definem uma propriedade onde o espaço de geração é particionado em conjuntos disjuntos de índices de tokens (máscaras). Se cada modelo especializado $p_i$ atua independentemente em sua máscara designada $M_i$ e coincide com o modelo de fundo $p_b$ em outros lugares, a composição é projetiva. Isso significa que a distribuição marginal do modelo composto em qualquer máscara $M_i$ é idêntica à do modelo especializado $p_i$.
2. Fatorizabilidade de Habilidades (Configuração Sequencial): Reconhecendo que tarefas autoregressivas (como provas trigonométricas) dependem do histórico de tokens gerados, os autores introduzem a fatorizabilidade de habilidades. Um modelo é fatorizável em habilidades se seu comportamento puder ser decomposto em uma fase de fundo, uma fase de habilidade específica (definida por tempos de parada $\tau_1, \tau_2$) e um retorno ao fundo.
3. Fatorizabilidade Conjunta: Para que uma coleção de modelos se componda corretamente, seus intervalos ativos (onde se desviam do fundo) devem ser disjuntos dois a dois. Sob essa condição, o modelo composto aplica cada habilidade exatamente durante seu intervalo designado e reverte para o modelo de fundo caso contrário.
4. Extensão do Espaço de Características: A estrutura é estendida a espaços de características abstratos via um mapa invertível $D$. Se as distribuições de empurrão satisfizerem a propriedade de condicionais fatorizadas no espaço de características, a composição permanece válida, permitindo a combinação de modelos que podem não ter domínios de tokens disjuntos, mas domínios "conceituais" disjuntos.
5. Generalização de Comprimento: O artigo argumenta que, se as suposições de fatorização e as garantias dos componentes se mantiverem uniformemente em um comprimento alvo, o modelo composto herda o comportamento de generalização de comprimento de seus componentes.

Conexão com Fusão de Modelos

Os autores traçam um link teórico entre sua composição no espaço de probabilidades e a Aritmética de Tarefas (Ilharco et al. [2023]). Eles demonstram que, em um cenário linear, adicionar vetores de tarefa no espaço de parâmetros é matematicamente equivalente à composição multiplicativa das distribuições de saída. Isso sugere que o sucesso empírico das técnicas de fusão de modelos pode ser explicado por um princípio subjacente de composição aditiva, onde atualizações de tarefa afetam regiões disjuntas do espaço de saída.

Contribuições Principais

• Estrutura Principial: Introdução de uma estrutura no espaço de probabilidades para compor modelos autoregressivos, estendendo o conceito de composição projetiva de modelos de difusão para geração sequencial.
• Garantias de Corretude: Identificação de condições específicas (condicionais fatorizadas e fatorizabilidade conjunta) sob as quais a composição é comprovadamente correta, garantindo que os componentes mantenham o controle sobre seus subespaços designados sem interferência.
• Generalização de Comprimento: Demonstração de que a composição preserva o comportamento de generalização de comprimento quando as suposições de fatorização se mantêm uniformemente no comprimento alvo.
• Ponte Teórica: Conexão da estrutura proposta com métodos existentes de fusão de modelos (especificamente Aritmética de Tarefas), fornecendo uma explicação teórica para o sucesso de certas heurísticas de fusão.
• Validação Empírica: Verificação da abordagem em tarefas sintéticas e em benchmarks de modelos de linguagem de grande escala.

Resultados

Os autores validam sua abordagem através de dois principais cenários experimentais:

1. Tarefa Controlada de Brinquedo: Em uma tarefa de substituição de letras onde os modelos foram treinados para substituir caracteres específicos (por exemplo, 'A' $\to$ 'B', 'C' $\to$ 'D'), o modelo composto alcançou 100% de sucesso em realizar ambas as transformações simultaneamente. Isso confirmou que o operador de composição integra corretamente habilidades disjuntas.
2. Benchmarks de LLM: Usando um modelo base Gemma 2 2B ($p_{base}$) e dois especialistas ajustados ($p_{math}$ e $p_{coding}$), os autores compuseram um modelo $\hat{p}$ e o avaliaram em quatro benchmarks:
   • Codificação: Em HumanEval+ e MBPP+, o modelo composto superou o especialista em codificação sozinho (30,5 vs. 24,4 e 39,4 vs. 38,1, respectivamente).
   • Matemática: Em GSM8K e MATH, o modelo composto manteve desempenho significativo do especialista em matemática (41,2 vs. 50,2 e 24,2 vs. 25,5), demonstrando que a habilidade de codificação não interferiu catastróficamente no raciocínio matemático.
   • Limitação: Os autores observam que compor mais de dois especialistas levou a uma degradação acentuada na qualidade da geração, provavelmente devido à instabilidade na previsão de tokens de fim de sequência e no comportamento de término.

Significado e Alegações

O artigo alega fornecer uma compreensão principial de quando e por que a composição e fusão de modelos têm sucesso em sistemas autoregressivos. Ao deslocar o foco do espaço de parâmetros para o espaço de probabilidades, os autores identificam condições sob as quais as interações entre modelos permanecem estáveis e não interferentes.

O significado reside em oferecer uma regra de composição estática e explícita com garantias teóricas, contrastando com métodos de roteamento dinâmico ou média heurística de parâmetros. O trabalho sugere que a composição de modelos autoregressivos pode ser entendida como uma operação probabilística estruturada, potencialmente permitindo a construção de LLMs mais modulares e controláveis. No entanto, os autores permanecem modestos, reconhecendo que suas suposições de fatorização podem não se manter plenamente na prática para todos os modelos pré-treinados e que a avaliação empírica é atualmente limitada em escopo.