Resumo Técnico: Pair-In, Pair-Out (PIPO) para LLMs Eficientes

1. Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) modernos dependem cada vez mais de longas cadeias de raciocínio (CoT) para tarefas complexas como matemática e programação. Embora esse paradigma melhore a precisão, ele cria um gargalo significativo na inferência: a decodificação autoregressiva padrão emite apenas um token por etapa de avanço, tornando o custo por token o fator dominante de latência para longas trajetórias de raciocínio.

As soluções existentes abordam isso a partir de duas direções independentes:

• Lado de entrada: Métodos de compressão latente (por exemplo, CoLaR) fundem múltiplos tokens de entrada em uma única representação contínua para reduzir o comprimento da sequência.
• Lado de saída: A previsão de múltiplos tokens (MTP) e a decodificação especulativa (por exemplo, EAGLE, Medusa) tentam emitir múltiplos tokens por etapa. No entanto, esses métodos geralmente exigem uma passagem de "verificador" cara (uma passagem completa de avanço do backbone grande) para validar os tokens de rascunho, o que frequentemente anula os ganhos de eficiência, especialmente em comprimentos de contexto longos. Além disso, métodos MTP não verificados correm o risco de propagar rascunhos não confiáveis, degradando a precisão.

Atualmente, não há um framework unificado que explore simultaneamente a compressão de entrada e a previsão de múltiplos tokens de saída sem incorrer no alto custo do verificador.

2. Metodologia: Pair-In, Pair-Out (PIPO)

O PIPO propõe um framework unificado que trata a compressão latente e a previsão de múltiplos tokens como operações espelhadas ao redor do backbone do LLM.

2.1 Arquitetura Central

O framework opera em pares de tokens em vez de tokens individuais:

• Pair-In (Compressão): Um compressor MLP leve dobra duas representações de embedding de tokens de entrada consecutivos ($x_{2i}, x_{2i+1}$) em uma única representação latente ($z_i$). Isso reduz pela metade o comprimento efetivo de entrada.
  $$z_i = f_\theta([x_{2i}; x_{2i+1}])$$
  O compressor é inicializado de modo que $f_\theta([a; b]) \approx a + b$ para manter a distribuição de pré-treinamento do backbone.
• Pair-Out (Previsão): O backbone processa o estado latente comprimido e produz um estado oculto ($h^b_i$).
  1. Token do Backbone: A cabeça de LM padrão prevê o próximo token do backbone ($x_{2i+2}$).
  2. Token de Rascunho: Uma cabeça de Previsão de Múltiplos Tokens (MTP), condicionada ao estado oculto do backbone e ao token do backbone previsto, prevê um token de rascunho adicional ($x_{2i+3}$).
  3. Cabeça de Confiança: Um MLP leve prevê uma pontuação de confiança ($c_i$) para o token de rascunho.
     $$c_i = g_\phi([h^b_i; h^d_i])$$
  • Lógica de Aceitação: Se $c_i \geq \tau_c$, o token de rascunho é aceito, e o próximo par de entrada consiste em dois tokens recém-gerados. Se rejeitado, o rascunho é substituído por um token de preenchimento ($x_{pad}$), e o próximo par de entrada é $(x_{2i+2}, x_{pad})$. Isso garante que a interface permaneça consistente independentemente da aceitação.

2.2 Estratégia de Treinamento

O PIPO utiliza um processo de treinamento em duas etapas para fechar a lacuna entre treinamento e inferência:

1. Ajuste Fino Supervisionado (SFT):

   • O modelo é treinado com um objetivo de previsão do próximo par usando perda de Entropia Cruzada (CE) tanto para os tokens do backbone quanto para os tokens de rascunho.
   • Uma cabeça de confiança é inicializada usando perda de Entropia Cruzada Binária (BCE), alinhando a pontuação de confiança com a probabilidade do token de rascunho de verdade.
   • Preenchimento Aleatório: Durante o treinamento, uma fração das posições de rascunho é aleatoriamente substituída por tokens de preenchimento para expor o modelo a cenários de rejeição.

2. Distilação On-Policy (OPD):

   • O PIPO aborda a mudança de distribuição entre treinamento e inferência gerando respostas usando a política atual do estudante.
   • Insight Chave: O papel do "professor" no OPD é funcionalmente idêntico ao do "verificador" na decodificação especulativa. Ambos julgam a consistência de um rascunho contra uma distribuição de referência mais forte.
   • Supervisão Gratuita: A probabilidade de aceitação para a cabeça de confiança é derivada diretamente do cálculo da perda OPD: $y_c = \min(p_t(x)/p_s(x), 1)$, onde $p_t$ é a probabilidade do professor (backbone) e $p_s$ é a probabilidade do estudante (rascunho).
   • Isso permite que a cabeça de confiança seja treinada com o critério de amostragem por rejeição como um rótulo, sem exigir passagens de avanço extras ou um modelo verificador separado.

3. Contribuições Principais

• Framework Unificado: O PIPO unifica a compressão latente do lado de entrada e a previsão de múltiplos tokens do lado de saída em uma interface simétrica "Pair-In/Pair-Out", reduzindo efetivamente pela metade o comprimento de entrada e dobrando a saída por etapa.
• Eliminação do Verificador: Ao observar que o professor do OPD e o verificador especulativo desempenham o mesmo papel, o PIPO treina uma cabeça de confiança leve usando a razão de amostragem por rejeição como um rótulo gratuito. Isso substitui a passagem cara do verificador do backbone por etapa por uma única passagem de avanço do MLP.
• Eficiência e Precisão: O método alcança acelerações significativas no Tempo até o Primeiro Token (TTFT) e no Tempo por Token de Saída (TPOT), enquanto melhora a precisão pass@4 em benchmarks de raciocínio complexo.

4. Resultados Experimentais

Os autores avaliaram o PIPO nos backbones Qwen3.5-4B e Qwen3.5-9B em quatro benchmarks: AIME 2025, GPQA-Diamond, LiveCodeBench v6 e LongBench v2.

• Precisão: O PIPO + OPD alcançou as maiores pontuações pass@4 entre todos os métodos.
  • No Qwen3.5-9B, o PIPO melhorou o pass@4 em +7,15 pontos sobre a decodificação autoregressiva regular.
  • No Qwen3.5-4B, a melhoria foi de +3,83 pontos sobre a melhor linha de base.
  • A vantagem aumentou com orçamentos de contexto mais longos (até 32K slots), pois o PIPO cabe mais cadeias de raciocínio completas no mesmo orçamento.
• Eficiência:
  • TTFT: Até 2,64× de aceleração (por exemplo, em comprimento de entrada de 128K) devido à fase de pré-preenchimento comprimida.
  • TPOT: Até 2,07× de aceleração porque dois tokens são emitidos por passagem de avanço do backbone.
• Estudos de Ablação:
  • Compressores não lineares são essenciais; compressores lineares causaram uma queda significativa no desempenho.
  • Inicializar o compressor como uma soma aditiva ($a+b$) é crítico para a estabilidade.
  • A cabeça de confiança rejeita efetivamente rascunhos não confiáveis, superando linhas de base de rejeição aleatória e encontrando um "ponto ideal" (limiar $\tau_c \approx 0,95$) que maximiza o pass@4.

5. Significado e Alegações

O artigo afirma que o PIPO representa uma mudança na abordagem da decodificação eficiente de LLMs:

1. Simetria: Demonstra que a compressão de entrada e a expansão de saída não são estratégias concorrentes, mas operações complementares e espelhadas que podem ser combinadas.
2. Amortização de Custos: Amortiza com sucesso o custo da verificação. Em vez de pagar um alto custo de inferência (passagem completa do backbone) a cada etapa, a lógica de verificação é destilada em um sinal de treinamento leve (a cabeça de confiança), transformando um custo de inferência recorrente em um sinal de treinamento único.
3. Praticidade: O framework depende principalmente de componentes prontos (cabeças MTP pré-treinadas, backbones padrão) e requer apenas módulos adicionais pequenos (compressor e cabeça de confiança), tornando-o viável para implantação em LLMs fortes existentes.

Os autores notam limitações, incluindo o foco no processamento em pares (em vez de fatores de compressão maiores), a restrição a modelos apenas de texto e a avaliação principalmente em tarefas com respostas verificáveis (matemática/programação) em vez de geração aberta. No entanto, argumentam que o PIPO oferece um caminho robusto para reduzir os custos de inferência de raciocínio em cadeias longas sem sacrificar a confiabilidade.