Resumo Técnico: Sinergia entre Sistema 1 e 2 via Interpolação Dinâmica de Modelos

Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) exibem uma dicotomia funcional entre os modos cognitivos "Sistema 1" (intuitivo, rápido, conciso) e "Sistema 2" (deliberativo, lento, denso em raciocínio). Enquanto os modelos de Sistema 2 (ex: o1, DeepSeek-R1) alcançam precisão superior em tarefas complexas através de uma Cadeia de Pensamento (CoT) estendida, eles sofrem com altos custos computacionais e saídas verbosas. Por outro via, os modelos de Sistema 1 são eficientes, mas carecem de capacidades de raciocínio profundo.

A pesquisa atual tenta unificar esses modos ou otimizar a eficiência do Sistema 2 principalmente através do controle de saída. Esses métodos restringem o que os modelos produzem ao limitar orçamentos de tokens, aplicar mecanismos de saída antecipada (early-exit) ou comprimir a CoT. Os autores argumentam que este paradigma está desalinhado: o comprimento da saída é um sintoma da configuração cognitiva, não a causa raiz da ineficiência. Além disso, treinar um único modelo unificado que se adapte perfeitamente entre esses modos permanece desafiador devido à "natureza de soma zero" dos dados de treinamento, onde o estilo verboso do Sistema 2 conflita com a concisão do Sistema 1, levando à interferência mútua durante a otimização conjunta.

Metodologia: DAMI (Interpolação Dinâmica de Modelos)

O artigo propõe uma mudança de paradigma do controle de saída para o controle de capacidade, modulando como os modelos pensam, em vez de o que eles produzem. Isso é alcançado através da Interpolação Dinâmica de Modelos, aproveitando checkpoints existentes de Sistema 1 (Instruct) e Sistema 2 (Thinking) sem treinamento adicional dos modelos base.

1. Fundamentação Teórica

Os autores estabelecem que a interpolação paramétrica linear entre os modelos Instruct ($\Theta^{(I)}$) e Thinking ($\Theta^{(T)}$) produz um comportamento previsível, fundamentado em três achados empíricos e teóricos:

• Monotonicidade de Desempenho: O aumento do coeficiente de interpolação $\lambda$ (onde $\lambda=0$ é o Instruct e $\lambda=1$ é o Thinking) produz uma fronteira de Pareto suave e convexa entre precisão e eficiência. Modelos intermediários frequentemente superam ambos os extremos, alcançando maior precisão que o Instruct com menos tokens que o Thinking.
• Continuidade de Representação: A Análise de Componentes Principais (PCA) revela que os modelos interpolados formam uma trajetória contínua no espaço de representação, com o primeiro componente principal fortemente correlacionado com $\lambda$ ($r=0.974$).
• Conectividade Estrutural: Os modelos Instruct e Thinking exibem alta similaridade de cosseno (>0.99) em todas as camadas do transformer, satisfazendo a Conectividade de Modo Linear (LMC). Isso indica que ambos os modelos residem dentro da mesma bacia de otimização, garantindo que o caminho de interpolação evite regiões de alta perda.

2. O Framework DAMI

A inovação central é o DAMI, que estima dinamicamente uma Intensidade de Raciocínio específica para cada consulta $\lambda(q) \in [0, 1]$ para configurar a profundidade cognitiva do modelo para cada entrada:
$$\Theta^{(M)}(q) = \lambda(q)\Theta^{(T)} + (1 - \lambda(q))\Theta^{(I)}$$

Dois métodos complementares são propostos para estimar $\lambda(q)$:

• DAMI-Pref (Baseado em Treinamento): Projetado para cenários com dados de treinamento no domínio. Ele enquadra a estimativa de $\lambda$ como um problema de aprendizado de preferência em vez de regressão. Um modelo de recompensa leve é treinado para pontuar pares de coeficientes de interpolação com base em um critério hierárquico: prioriza a precisão e, em seguida, usa a eficiência (contagem de tokens) como critério de desempate. Esta abordagem é robusta ao ruído de rótulos e requer menos dados do que métodos baseados em regressão.
• DAMI-Conf (Livre de Treinamento): Projetado para implantação zero-shot. Ele estima $\lambda(q)$ usando sinais de confiança intrínsecos dos modelos base. Ele funde dois sinais:
  1. Ambiguidade Holística: Mede a incerteza global do sistema (baixa confiança em ambos os modelos implica alta dificuldade).
  2. Discrepância Cognitiva: Mede o desacordo na confiança entre os modelos Instruct e Thinking (alta discrepância implica que a consulta requer estratégias distintas).
     Estes sinais são fundidos e passados por uma função sigmoide calibrada para determinar $\lambda(q)$.

Principais Contribuições

1. Mudança de Paradigma: O artigo defende a transição do controle de saída (limitação da geração) para o controle de capacidade (modulação da configuração cognitiva via interpolação de parâmetros).
2. Framework DAMI: Um framework inovador que permite a intensidade de raciocínio adaptável à consulta sem treinar um modelo unificado do zero, aproveitando checkpoints existentes.
3. Estratégias de Estimativa Duplas: A introdução do DAMI-Pref (baseado em preferência) e DAMI-Conf (baseado em confiança) para abordar diferentes restrições de implantação (disponibilidade de dados vs. necessidades zero-shot).
4. Validação Teórica: Provas formais e evidências empíricas demonstrando que a interpolação linear entre modelos co-originados satisfaz a LMC, garantindo transições válidas, monótonas e contínuas em desempenho e representação.

Resultados Experimentais

Os autores avaliaram o DAMI em cinco benchmarks de raciocínio matemático (GSM8K, MATH-500, AMC, AIME 2024/25) usando duas famílias de modelos (Qwen3-4B e DeepSeek-R1/Qwen2.5-7B).

• Desempenho vs. Eficiência: O DAMI estabelece consistentemente fronteiras de Pareto superiores em comparação com o merge estático, early-exit (DEER) e baselines de roteamento.
  • No Qwen3-4B, o DAMI-Pref alcançou 91,6% de precisão (um ganho absoluto de +3,4% sobre o modelo Thinking) enquanto reduzia o consumo de tokens em 29%.
  • O DAMI-Conf reduziu o consumo de tokens em 40% mantendo 90,7% de precisão (+2,5% sobre o Thinking).
• Comportamento Adaptativo: A "Razão de Pensamento" (porcentagem de consultas que disparam o raciocínio profundo) adapta-se à dificuldade. Para tarefas simples (GSM8K), o DAMI ativa o pensamento profundo para apenas ~25-41% das consultas, enquanto para tarefas complexas (AIME), isso sobe para 79-95%.
• Generalização Multimodal: O framework foi testado em tarefas multimodais (raciocínio de vídeo e imagem-texto) usando Qwen3-VL-8B. O DAMI-Conf superou os baselines, alcançando uma melhoria absoluta de 2,5% na compreensão de vídeo e 1,6% no raciocínio imagem-texto.
• Estudo de Caso: Em um problema de geometria, o modelo Thinking gerou 2.846 tokens com verificação redundante. O DAMI gerou uma solução correta em 351 tokens ao formular diretamente o problema e calcular, demonstrando que o controle de capacidade produz um raciocínio inerentemente eficiente em vez de uma saída truncada.

Significância e Alegações

O artigo afirma que a dicotomia entre o pensamento rápido e lento não precisa ser uma escolha binária resolvida no momento do treinamento. Ao estabelecer que a profundidade de raciocínio existe em um espectro suave acessível através de operações lineares simples no espaço de parâmetros, o DAMI oferece uma arquitetura cognitiva flexível.

Os autores enfatizam que sua abordagem evita a dificuldade de treinar modelos unificados de Sistema 1/2 e evita a degradação de desempenho associada aos métodos de saída restrita (que correm o risco de truncar cadeias de raciocínio). Em vez disso, o DAMI alcança um "ponto ideal" ao configurar dinamicamente a profundidade cognitiva do modelo, combinando efetivamente a eficiência do Sistema 1 com a profundidade de raciocínio do Sistema 2. O trabalho sugere que a alocação de recursos de raciocínio pode ser tratada como um problema de previsão bem definido, onde a estimativa do $\lambda(q)$ ideal determina diretamente o comportamento do modelo.