Resumo Técnico: AGCLR – Raciocínio Latente Contínuo com Portão Adaptativo (Adaptive Gated Continuous Latent Reasoning)

Identificação do Problema: O Gargalo de Conceitos (Concept Bottleneck)

Os Grandes Modelos de Linguagem (LLMs) demonstraram fortes capacidades de raciocínio, particularmente quando guiados por prompting de Cadeia de Pensamento (Chain-of-Thought - CoT). No entanto, o CoT é limitado a uma única passagem progressiva (forward pass) onde cada token gerado torna-se a entrada para o próximo, forçando um compromisso precoce com um caminho de raciocínio. Para abordar isso, o paradigma CoCoNuT (Chain of Continuous Thought) foi introduzido, permitindo que os modelos raciocinem em um espaço latente contínuo ao alimentar o último estado oculto como o próximo embedding de entrada. Isso permite uma busca em largura (breadth-first search) implícita sobre caminhos de raciocínio sem a necessidade de tokens discretos.

Apesar de sua promessa, os autores identificam uma limitação crítica no CoCoNuT vanilla denominada gargalo de conceitos. Em inferência de múltiplas passagens, os estados ocultos intermediários são progressivamente sobrescritos à medida que novos tokens latentes são gerados. Sem um mecanismo para preservar a informação, fatos críticos computados em etapas de raciocínio anteriores são perdidos conforme a profundidade do raciocínio aumenta. Evidências empíricas mostram que, embora o CoCoNuT vanilla tenha um desempenho comparável ao CoT em tarefas rasas, seu desempenho degrada-se em cadeias de raciocínio mais profundas (por exemplo, no GSM8K e ProsQA), falhando em melhorar em relação às linhas de base de CoT padrão em tarefas de QA multi-hop como o HotpotQA.

Metodologia: AGCLR

Para resolver o gargalo de conceitos, os autores propõem o AGCLR (Adaptive Gated Continuous Latent Reasoning). Este método aumenta o CoCoNuT com um Fluxo de Conceitos com Portão (Gated Concept Stream), um vetor de memória residual persistente ($c_t$) mantido através de todas as passagens de raciocínio.

Arquitetura

Em cada posição de token latente, o modelo computa um estado oculto ($h_t$) que é processado através de três portões sigmoides aprendidos para controlar o fluxo de informação entre o estado atual e a memória persistente:

1. Portão de Escrita (Write Gate - $w_t$): Determina quanto do estado oculto com portão atual ($h'_t$) é comprometido com o fluxo de conceito. Isso evita que estados de baixa confiança ou irrelevantes poluam a memória.
2. Portão de Leitura (Read Gate - $r_t$): Controla quanto do fluxo de conceito anterior ($c_{t-1}$) é recuperado e integrado ao estado oculto atual, permitindo que o modelo acesse fatos de passagens anteriores.
3. Portão de Esquecimento (Forget Gate - $f_t$): Determina quanto do estado oculto atual é preservado versus substituído pela memória recuperada, permitindo a poda seletiva de contexto irrelevante.

As equações de atualização são definidas como:
$$\hat{h}_t = \text{LayerNorm}(h_t)$$
$$r_t, f_t, w_t = \sigma(W \hat{h}_t)$$
$$h'_t = (1 - f_t) \odot h_t + r_t \odot c_{t-1}$$
$$c_t = \text{LayerNorm}(c_{t-1} + w_t \odot h'_t)$$

O estado oculto com portão $h'_t$ substitui $h_t$ como a entrada para a próxima posição de token latente, enquanto $c_t$ serve como a memória persistente para passagens subsequentes.

Protocolo de Treinamento

O AGCLR utiliza uma abordagem de aprendizado de currículo em múltiplos estágios inspirada no CoCoNuT:

• Estágio 0: O modelo é treinado em dados padrão de CoT com etapas de raciocínio explícitas.
• Estágios Subsequentes: Etapas de raciocínio explícitas são progressivamente substituídas por tokens latentes contínuos. No estágio $k$, as primeiras $k$ etapas são substituídas por $k \times c$ tokens latentes.
• Estágio Final: Todo o raciocínio é conduzido no espaço latente.
  O modelo é treinado no GPT-2 (117M de parâmetros) usando este currículo através de três conjuntos de dados: GSM8K (aritmética), HotpotQA (QA multi-hop) e ProsQA (planejamento).

Principais Contribuições

1. Identificação do Gargalo de Conceitos: Os autores demonstram empiricamente que o CoCoNuT vanilla sofre de perda de informação nos estados intermediários conforme a profundidade do raciocínio aumenta, levando à degradação do desempenho em tarefas complexas.
2. Arquitetura AGCLR: A proposta de um mecanismo de memória residual com portão que resolve este gargalo com apenas um aumento de 1,41% nos parâmetros sobre o modelo base GPT-2.
3. Ganhos de Desempenho: O AGCLR supera consistentemente o CoCoNuT vanilla em todos os conjuntos de dados testados, com a vantagem de desempenho se acumulando conforme a profundidade do currículo (complexidade do raciocínio) aumenta.

Resultados

A avaliação em três benchmarks revela o seguinte:

• GSM8K (Matemática): O AGCLR alcança 34,0% de precisão, superando o CoCoNuT vanilla (31,4%) e a linha de base CoT (40,6% é a linha de base CoT, mas variantes CoCoNuT são geralmente menores em matemática de passo único; o AGCLR melhora significativamente sobre a linha de base de apenas um passo latente).
• HotpotQA (QA Multi-hop): O AGCLR alcança 14,0% de Exact Match (EM), uma melhoria de +3,6% sobre o CoCoNuT vanilla (10,4%) e um ganho significativo sobre a linha de base CoT (11,0%).
• ProsQA (Planejamento): O AGCLR atinge 96,0% de precisão, comparado a 92,0% para o CoCoNuT vanilla. Notavelmente, o desempenho do CoCoNuT vanilla degrada-se no estágio de currículo mais profundo (Estágio 6), enquanto o AGCLR sustenta a melhoria.

Análise de Retenção de Memória

A análise de similaridade de cosseno entre o estado oculto inicial e as passagens subsequentes mostra que o CoCoNuT vanilla sofre de um decaimento de memória monotônico (a similaridade cai de 1,0 para 0,126 na passagem 6, representando uma perda de informação de 87%). Em contraste, o AGCLR estabiliza após a passagem 3, retendo uma similaridade de ~0,22, o que corresponde a 71% mais retenção de informação do que a linha de base.

Estudos de ablação confirmam que os ganhos derivam do mecanismo de memória persistente e não apenas de parâmetros adicionais:

• Remover o portão de escrita reduz o desempenho para 8,8% EM (abaixo do CoCoNuT vanilla).
• Congelar o portão de escrita após a passagem 2 resulta em apenas uma queda de 0,8% (13,2% vs 14,0% EM), sugerindo que a captura de informação precoce é suficiente, e os portões de leitura/esquecimento mantêm a qualidade desta informação armazenada.
• Remover o portão de esquecimento causa uma queda significativa (8,4% EM), destacando a necessidade de podar o contexto irrelevante para evitar a poluição da memória.

Significância e Alegações

O artigo afirma que o AGCLR aborda diretamente o gargalo de conceitos ao introduzir uma memória residual persistente e com portão, que permite aos modelos manter fatos críticos através de ciclos iterativos de raciocínio. Diferente de abordagens anteriores que operam no espaço da linguagem (ex: iCoT, tokens de pausa) ou carecem de estado persistente, o AGCLR permite o raciocínio em um espaço latente não restrito enquanto preserva os estados computacionais necessários para tarefas multi-hop.

Os autores enfatizam que a melhoria é impulsionada pela capacidade da arquitetura de armazenar, manter e recuperar informações através das passagens, e não simplesmente pelo aumento da capacidade do modelo. Embora os resultados sejam consistentes em diversos tópicos de raciocínio (matemática, QA, planejamento), o artigo mantém a modéstia quanto ao seu escopo, observando que os experimentos foram conduzidos em uma única semente com um modelo base GPT-2 de 124M. A escalabilidade para modelos maiores e distribuições de tarefas mais amplas permanece um assunto para validação futura.