Resumo Técnico: ConPress – Aprendendo o Raciocínio Eficiente a partir da Pressão Contextual de Múltiplas Questões

Definição do Problema

Modelos de Raciocínio de Grande Escala (LRMs), como o OpenAI-O1, DeepSeek-R1 e Qwen3, alcançam alto desempenho em tarefas complexas ao gerar extensas traçais de Cadeia de Pensamento (CoT). No entanto, essa verbosidade frequentemente leva ao "overthinking" (pensar excessivamente), onde os modelos produzem etapas intermediárias redundantes, aumentando significativamente a latência de inferência, os custos de tokens e a sobrecarga de implantação. Métodos existentes para mitigar isso, como o Ajuste Fino Supervisionado (SFT) com modelos professores ou Aprendizado por Reforço (RL) com penalidades de comprimento, sofrem com altos custos de treinamento, dependência de supervisão externa ou sensibilidade ao design de recompensa. O artigo aborda a questão fundamental de se os LRMs podem naturalmente produzir traçais de raciocínio mais curtos e como internalizar esse comportamento para uma inferência de questão única eficiente sem professores externos ou RL.

Metodologia: ConPress

Os autores propõem o ConPress (Aprendendo com Pressão Contextual), um framework de ajuste fino autossupervisionado e leve. O método é construído sobre a observação de um fenômeno reproduzível de inferência, denominado Autocompressão (Self-Compression).

1. O Fenômeno da Autocompressão

Os autores identificam que, quando um LRM é apresentado a um prompt contendo múltiplas questões independentes e passíveis de resposta ($N > 1$), ele gera espontaneamente traçais de raciocínio significativamente mais curtos para cada questão individual em comparação com prompts de questão única ($N=1$).

• Mecanismo: Esta compressão surge da "pressão contextual de múltiplas questões". O modelo deve completar múltiplos processos de raciocínio dentro de uma resposta compartilhada, enviesando as continuações locais para caminhos concisos que removem etapas redundantes enquanto preservam as estruturas centrais de inferência.
• Características: O fenôza é reproduzível em diferentes modelos (ex: DeepSeek-R1-Distill-Qwen, Qwen3) e conjuntos de dados. A intensidade da compressão escala com o número de questões ($N$) e é amplamente estrutural, permanecendo robusta mesmo se as questões auxiliares forem triviais.

2. O Pipeline ConPress

O ConPress aproveita este fenômeno para destilar o raciocínio eficiente para configurações padrão de questão única através de um processo de três etapas:

1. Amostragem de Múltiplas Questões: O modelo amostra $N$ questões independentes de um conjunto de dados e as empacota em um único prompt. O modelo gera traçais de raciocínio e respostas para todas as questões dentro deste contexto.
2. Extração de Traçal Comprimido: Os autores aplicam amostragem de rejeição, retendo apenas os traçais de raciocínio ($r_i$) onde a resposta prevista ($\hat{o}_i$) coincide com a verdade fundamental ($o_i$). Isso garante que os dados destilados consistam em trajetórias concisas, porém corretas.
3. Transferência para Questão Única: O conjunto de dados filtrado de traçais concisos e corretos é usado para realizar o Ajuste Fino Supervisionado (SFT) padrão em entradas de questão única. O modelo aprende a reproduzir o comportamento de raciocínio comprimido observado sob pressão de múltiplas questões, internalizando-o para a inferência padrão.

Crucialmente, este processo não requer modelos professores externos, heurísticas de poda manual ou aprendizado por reforço.

Principais Contribuições

1. Identificação da Autocompressão: O artigo caracteriza sistematicamente um fenômeno reproduzível de inferência onde os LRMs geram traçais de CoT por questão mais curtos sob contextos de múltiplas questões, sem restrições de comprimento explícitas.
2. Framework ConPress: Um método autossupervisionado e leve que extrai e transfere este comportamento de raciocínio comprimido do cenário de múltiplas questões para o de questão única.
3. Validação Empírica: Os autores demonstram que o ConPress alcança reduções substanciais no uso de tokens de raciocínio (30–60%) em benchmarks desafiadores, mantendo uma acurácia competitiva, expondo um trade-off favorável entre acurácia e eficiência.

Resultados Experimentais

Os autores avaliaram o ConPress em três modelos de raciocínio (Qwen3-4B-Thinking, R1-Distill-Qwen-7B, R1-Distill-Qwen-1.5B) através de múltiplos benchmarks (MATH500, AIME25, GSM8K, Olympiad, AMC).

• Redução de Tokens: O ConPress reduziu o uso de tokens de raciocínio em 59% no MATH500 e 33% no AIME25 para o modelo Qwen3-4B-Thinking. Em todos os modelos, as reduções médias de tokens variaram de 33,9% a 48,7%.
• Preservação de Acurácia: Apesar da compressão agressiva, a degradação da acurácia foi mínima. Para o Qwen3-4B-Thinking, a queda média de acurácia foi de apenas 0,6 pontos; para o R1-Distill-Qwen-7B, a acurácia foi efetivamente preservada.
• Comparação com Baselines:
  • RFTshortest (selecionando a resposta correta mais curta de múltiplas amostras) produziu apenas reduções marginais de tokens.
  • DPOshortest alcançou compressão moderada, mas frequentemente ao custo de quedas perceptíveis na acurácia.
  • Métodos baseados em RL (ex: LC-R1, AdaptThink) alcançaram forte compressão, mas exigiram pipelines de treinamento complexos e sofreram declínios de acurácia maiores.
  • Compressão em Tempo de Teste (usar diretamente prompts de múltiplas questões na inferência) reduziu os tokens, mas causou severa degradação de acurácia (ex: -31,3 pontos em média para MQ-N3).
• Generalização: O método generalizou-se para tarefas fora da distribuição (MMLU-STEM, reduzindo tokens em ~33–36% com perda mínima de acurácia.
• Estudos de Ablação: Aumentar o número de questões ($N$) no prompt de amostragem aumentou a força da compressão, mas com retornos decrescentes na economia de tokens além de $N=3$ ou $N=4$. O método foi robusto à posição da questão alvo dentro do prompt de múltiplas questões.

Significância e Alegações

O artigo alega que o ConPress demonstra que comportamentos de raciocínio autocomprimidos induzidos no tempo de inferência podem ser sistematicamente internalizados pelo próprio modelo. Ao aproveitar a pressão estrutural de contextos de múltiplas questões, o método permite um raciocínio mais eficiente em termos de tokens sem depender de restrições de comprimento explícitas, professores externos, poda manual ou aprendizado por reforço.

Os autores posicionam isso como uma mudança fundamental em como a eficiência pode ser alcançada: em vez de forçar os modelos a serem concisos através de penalidades externas ou RL complexo, pode-se explorar a adaptabilidade contextual inerente do modelo para "ensinar" o raciocínio eficiente. A abordagem é apresentada como uma alternativa simples, escalável e de baixo custo às estratégias de compressão existentes, oferecendo um trade-off claro entre o comprimento do raciocínio e a acurácia que favorece a eficiência com perda mínima de desempenho.