🤖 AI

Tandem: Riding Together with Large and Small Language Models for Efficient Reasoning

O artigo propõe o Tandem, um quadro colaborativo no qual um modelo de linguagem de grande escala atua como coordenador estratégico para gerar insights críticos que orientam um modelo menor e mais eficiente na execução do raciocínio completo, reduzindo assim os custos computacionais em aproximadamente 40% enquanto mantém alto desempenho em tarefas como raciocínio matemático e geração de código.

Autores originais: Zichuan Fu, Xian Wu, Guojing Li, Yejing Wang, Yijun Chen, Zihao Zhao, Yixuan Luo, Hanyu Yan, Yefeng Zheng, Xiangyu Zhao

Publicado 2026-04-28

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Zichuan Fu, Xian Wu, Guojing Li, Yejing Wang, Yijun Chen, Zihao Zhao, Yixuan Luo, Hanyu Yan, Yefeng Zheng, Xiangyu Zhao

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: O "Superpensador"

Imagine que você tem um professor brilhante e de classe mundial (o Modelo de Linguagem Grande ou LLM) que pode resolver problemas matemáticos incrivelmente difíceis. No entanto, esse professor tem um hábito: antes de lhe dar a resposta, ele escreve um ensaio de 5.000 palavras explicando cada pensamento, cada beco sem saída que considerou e cada pequeno cálculo.

Embora a resposta geralmente esteja correta, esse processo é lento e caro. É como contratar um arquiteto mestre para construir uma simples casa de pássaro, mas ele gasta três dias desenhando plantas, calculando a densidade da madeira e escrevendo uma história da marcenaria antes de cravar um único prego.

Por outro lado, você tem um aprendiz rápido e energético (o Modelo de Linguagem Pequeno ou SLM). Eles são rápidos e baratos, mas se você apenas fizer a pergunta difícil a eles, muitas vezes eles chutam errado ou ficam presos.

A Solução: A Equipe "Tandem"

Os autores propõem uma nova forma de trabalho chamada Tandem. Em vez de deixar o professor fazer todo o trabalho sozinho, ou deixar o aprendiz chutar às cegas, eles trabalham juntos em um relacionamento de Mentor-Estagiário.

Veja como o sistema "Tandem" funciona:

1. O Mentor Fornece um "Cola" (Não o Livro Inteiro)

O Modelo Grande (Mentor) não escreve o ensaio inteiro. Em vez disso, ele gera rapidamente um "Cola" compacto contendo quatro insights principais:

Objetivo: O que estamos realmente tentando resolver?
Planejamento: Qual é a estratégia de alto nível?
Recuperação: Quais fatos ou fórmulas específicos precisamos?
Ação: Quais são os primeiros passos lógicos?

Pense nisso como o professor entregando ao aprendiz um mapa detalhado e uma bússola, em vez de dirigir o carro por eles.

2. O Estagiário Dirige

O Modelo Pequeno (Estagiário) pega esse "Cola" e o usa para fazer o trabalho pesado. Como ele tem o mapa, não se perde. Ele dirige o carro (gera os passos de raciocínio) até a linha de chegada muito mais rápido e barato do que o professor poderia ter feito sozinho.

3. O Mecanismo de "Placa de Pare" (Julgamento Consciente de Custo)

Esta é a parte mais inteligente do sistema. O sistema não segue cegamente uma regra como "sempre deixe o professor falar por 5 minutos".

Em vez disso, o Modelo Pequeno tem um medidor de confiança embutido. À medida que lê as dicas do Mentor, ele verifica seus próprios sentimentos internos:

"Eu entendo isso bem o suficiente para terminar o trabalho?"
"Estou ficando confuso, ou me sinto confiante?"

Se o Modelo Pequeno se sentir confiante (baixa "entropia" ou incerteza), ele levanta uma Placa de Pare. O Mentor para de falar imediatamente, e o Modelo Pequeno termina a resposta. Se o Modelo Pequeno ainda estiver confuso, o Mentor adiciona apenas um pouco mais de orientação.

Os Resultados: Mais Rápido, Mais Barato e Mais Inteligente

O artigo testou isso em problemas matemáticos difíceis e tarefas de geração de código. Eis o que eles descobriram:

O Ponto Ideal: A equipe de um "Cérebro Grande" (modelo de 32B) e um "Cérebro Pequeno" (modelo de 7B) trabalhando juntos resolveu problemas melhor do que o Cérebro Grande sozinho.
As Economias: Eles alcançaram essa maior precisão usando 40% menos poder de computação (e dinheiro).
A Transferência Mágica: O "medidor de confiança" (o classificador que decide quando parar) foi treinado em problemas matemáticos. Surpreendentemente, funcionou tão bem em problemas de codificação sem precisar ser retreinado. É como um motorista que aprendeu a parar em semáforos vermelhos em Nova York e poderia imediatamente parar em semáforos vermelhos em Tóquio sem uma nova lição.

Por Que Isso Importa

O artigo argumenta que não precisamos forçar nossos maiores e mais caros modelos de IA a fazer cada passo do pensamento. Ao deixá-los atuar como guias estratégicos e permitir que modelos menores e mais baratos façam a execução, podemos obter o melhor dos dois mundos: o raciocínio profundo de um modelo gigante com a velocidade e eficiência de um modelo pequeno.

Em resumo: Não peça ao CEO para arquivar a papelada. Peça ao CEO para escrever o memorando e deixe o assistente eficiente arquivá-lo. O sistema "Tandem" automatiza essa divisão perfeita de trabalho.

1. Declaração do Problema

Avanços recentes em Modelos de Linguagem de Grande Porte (LLMs) introduziram paradigmas de "pensamento" (por exemplo, Chain-of-Thought, DeepSeek-R1) onde os modelos realizam raciocínio explícito, passo a passo, antes de gerar uma resposta. Embora isso melhore significativamente a precisão e a interpretabilidade em tarefas complexas como raciocínio matemático e geração de código, isso incorre em uma sobrecarga computacional massiva.

O Gargalo: Cadeias de raciocínio em LLMs modernos são frequentemente 5–10 vezes mais longas que saídas padrão, levando a alta latência de inferência e custos operacionais (TFLOPs).
Limitações das Soluções Existentes:
- Ajuste Fino por Reforço (RFT): Tentativas de encurtar traços de raciocínio exigem treinamento contínuo, o que pode degradar capacidades gerais e é impossível para modelos de código fechado (apenas via API).
- Modelos de Linguagem Pequenos (SLMs) isolados: Embora eficientes, frequentemente carecem da profundidade de raciocínio para resolver problemas complexos corretamente.
- Colaboração Ingênua: Passar simplesmente cadeias completas de raciocínio de um LLM para um SLM é ineficiente e excede a capacidade de compreensão do SLM.

Questão Central: Como podemos preservar os benefícios de raciocínio de alta qualidade dos LLMs, tornando-os computacionalmente eficientes o suficiente para implantação prática?

2. Metodologia: A Estrutura Tandem

Os autores propõem o Tandem, uma estrutura colaborativa que sinergiza um Modelo de Linguagem de Grande Porte (LLM) atuando como um "Mentor" e um Modelo de Linguagem Pequeno (SLM) atuando como um "Estagiário". O sistema é projetado para imitar a arquitetura cognitiva humana (ACT-R), decompondo o raciocínio em módulos funcionais distintos.

A. Arquitetura Mentor-Estagiário

O Mentor (LLM): Não gera a solução completa. Em vez disso, gera um conjunto compacto de insights de pensamento estruturados para guiar o SLM.
O Estagiário (SLM): Recebe os insights e executa os passos detalhados de raciocínio para gerar a resposta final.

B. Insights de Pensamento Estruturados

Em vez de cadeias de raciocínio brutas, o LLM é instruído a gerar quatro componentes específicos:

Objetivo: Define o objetivo e as restrições.
Planejamento: Esboça a estratégia de alto nível e a decomposição de subproblemas.
Recuperação: Recorda fatos relevantes, fórmulas ou conhecimento.
Ação: Executa passos lógicos concretos ou cálculos.

C. Julgamento Contínuo Consciente de Custo (A Inovação Central)

Para equilibrar eficiência e confiabilidade, o Tandem não usa uma quantidade fixa de orientação. Em vez disso, emprega um mecanismo adaptativo:

Geração em Etapas: O LLM gera insights em níveis crescentes de esforço (Baixo, Médio, Alto).
Classificação de Suficiência: Após cada etapa, o SLM processa os insights acumulados ( $Q \oplus I_t$ $Q \oplus I_{t}$ ). Um Classificador de Suficiência dedicado ( $C$ $C$ ) analisa o estado interno do SLM para determinar se a orientação atual é suficiente para resolver o problema.
- Recursos: O classificador utiliza recursos estatísticos derivados da distribuição de probabilidade em nível de token do SLM, especificamente Perplexidade (PPL) e Entropia.
- Lógica: Entropia e perplexidade mais baixas indicam que o SLM está confiante e a orientação é suficiente.
Terminação Adaptativa:
- Se o classificador prever Suficiência ( $y=1$ ): O LLM para de gerar. O SLM prossegue para gerar a resposta final imediatamente.
- Se Insuficiente ( $y=0$ ): O LLM prossegue para a próxima etapa, mais detalhada.
- Fallback: Se todas as etapas forem esgotadas sem um sinal de "suficiência", o sistema seleciona a etapa com a pontuação de suficiência mais alta para gerar a resposta.

3. Contribuições Principais

Novo Paradigma Colaborativo: Introduz uma dinâmica "Mentor-Estagiário" onde o LLM fornece orientação estratégica de alto nível (Objetivo, Planejamento, Recuperação, Ação) em vez de cadeias completas de raciocínio, permitindo que o SLM lidere a execução.
Mecanismo de Julgamento Consciente de Custo: Propõe um critério de parada dinâmico baseado em um classificador treinado em métricas de incerteza do SLM (PPL/Entropia). Isso permite que o sistema aloque recursos computacionais de forma adaptativa, parando cedo para problemas simples e aprofundando a orientação para problemas complexos.
Transferibilidade entre Domínios: Demonstra que o classificador de suficiência treinado em raciocínio matemático (MATH) transfere-se efetivamente para geração de código (HumanEval) sem re-treinamento, provando que os recursos capturam sinais de confiança agnósticos ao domínio.

4. Resultados Experimentais

Os experimentos foram conduzidos em MATH (raciocínio matemático) e GSM8K (matemática do ensino fundamental), bem como em HumanEval (geração de código).

Desempenho vs. Custo:
- Precisão: A estrutura Tandem (LLM de 32B + SLM de 7B) alcançou 83,46% de precisão no MATH, superando o LLM de 32B isolado (80,90%) e o SLM de 7B isolado (77,14%).
- Eficiência: Reduziu o custo computacional em aproximadamente 40% em comparação com o LLM de 32B isolado (usando apenas 59% do custo).
- Comparação: Superou linhas de base como "Budget Forcing" (truncamento de raciocínio) e "LLM Cascade" (roteamento estático) tanto em precisão quanto em eficiência.
Generalização:
- Entre Famílias: Observou-se colaboração eficaz entre diferentes famílias de modelos (por exemplo, DeepSeek LLM + Qwen SLM).
- Compatibilidade com API: A estrutura funciona com modelos de API de código fechado (por exemplo, GPT-4o-mini) como Mentor, pois requer apenas saída de texto, não pesos do modelo.
- Escalonamento: O desempenho ótimo ocorre com uma lacuna de capacidade moderada entre LLM e SLM. Se a lacuna for muito grande (por exemplo, 32B orientando 1,5B), o SLM não consegue interpretar a orientação; se for muito pequena, os ganhos são marginais.
Latência: Em testes de tempo real, o Tandem alcançou uma aceleração de 1,8x sobre a linha de base apenas Mentor (32B), mantendo maior precisão.

5. Significado e Impacto

Democratização do Raciocínio: O Tandem torna o raciocínio de alto nível acessível e acessível para aplicações com restrições orçamentárias rigorosas ou requisitos de latência em tempo real.
Eficiência sem Re-treinamento: Ao contrário de métodos que exigem Ajuste Fino por Reforço (RFT), o Tandem funciona com modelos pré-treinados e APIs de código fechado, tornando-o imediatamente implantável.
Alinhamento Cognitivo: Ao estruturar o raciocínio em Objetivo, Planejamento, Recuperação e Ação, a estrutura alinha-se aos processos cognitivos humanos, sugerindo uma direção promissora para futuros sistemas agentes.
Implantação Prática: A capacidade de transferir o classificador de suficiência entre domínios (Matemática para Código) sem re-treinamento reduz significativamente a barreira para adoção desta estrutura em diversas aplicações do mundo real.

Em conclusão, o Tandem demonstra que orientações de raciocínio de alta qualidade e leves de um modelo grande podem substituir efetivamente cadeias completas de raciocínio, permitindo que modelos pequenos alcancem desempenho de última geração a uma fração do custo computacional.