Resumo Técnico: Quando Replanejar: Persistência de Submetas em Raciocínio Latente Hierárquico

Declaração do Problema

O raciocínio de longo horizonte exige que um sistema equilibre estabilidade (comprometer-se com uma intenção de médio horizonte) com adaptatividade (revisar essa intenção quando necessário). No raciocínio externalizado (ex: Cadeia de Pensamento/Chain-of-Thought), cada token compromete implicitamente o sistema com um caminho específico. No entanto, em arquiteturas de raciocínio latente (onde a computação ocorre dentro de estados ocultos em vez de traços de tokens), nenhum compromisso explícito é forçado. Um raciocinador latente pode, teoricamente, revisar sua intenção de médio horizonte a cada micropasso ou nunca.

O problema central abordado é determinar a escala temporal ideal para o planejamento em espaços latentes: Por quanto tempo um raciocinador latente deve se comprometer com uma intenção antes de revisá-la? Os Modelos de Raciocínio Hierárquico (HRM) existentes acoplam loops lentos e rápidos, mas carecem de um sinal explícito para a intenção de médio horizonte, dependendo exclusivamente de dinâmicas recorrentes emergentes. Este artigo investiga se a introdução de uma interface de gerente-trabalhador do tipo "feudal" com um período de persistência de submeta ($P$) controlável pode resolver o equilíbrio entre estabilidade e adaptatividade.

Metodologia

Os autores propõem o HRM Aumentado por Submetas, uma extensão do Modelo de Raciocínio Hierárquico (HRM) que operacionaliza a intenção latente persistente através de uma arquitetura gerente-trabalhador.

Arquitetura e Mecanismo

1. Interface Gerente-Trabalhador:

   • Gerente (Alto Nível): Um módulo lento que atualiza a cada $T$ passos de baixo nível. Ele emite um vetor de submeta direcional normalizado $g_k$ a cada $P$ passos de baixo nível.
   • Trabalhador (Baixo Nível): Um módulo rápido que realiza micropassos. As atualizações de seu estado oculto são enviesadas pela submeta ativa $g(t)$ via uma projeção aprendida $V_L$.
   • Período de Persistência ($P$): O hiperparâmetro central. Ele define o número de passos de baixo nível que uma submeta permanece ativa antes de ser revisada.
     • $P=1$: A submeta é sobrescrita a cada passo (sem coerência temporal).
     • $P>1$: A submeta persiste, permitindo que o trabalhador componha múltiplas atualizações em torno de uma única intenção.

2. Emissão de Submeta:

   • O gerente projeta seu estado $z^H$ para um vetor direcional $\tilde{g}_k$, que é normalizado para comprimento unitário para codificar "para onde mover-se" no espaço latente sem forçar um alvo absoluto específico (o que seria frágil em dinâmicas não estacionárias).
   • Um portão de compromisso escalar $\alpha_k$ opcionalmente modula a força da influência com base na incerteza do gerente.

3. Objetivo de Treinamento:

   • A perda total combina o objetivo base do HRM ($L_{HRM}$) com uma perda de alinhamento intrínseco ($L_{align}$):
     $$L = L_{HRM} + \lambda \sum L^{(k)}_{align}$$
   • Perda de Alinhamento: Uma perda baseada em cosseno que recompensa o deslocamento líquido do estado oculto do trabalhador ($\Delta z^L_k$) ao longo da janela de compromisso $P$ para alinhar-se com a submeta emitida $g_k$.
   • Hiperparâmetro $\lambda$: O peso da perda de alinhamento, controlando o equilíbrio entre o prior de alinhamento e o gradiente da tarefa.

Configuração Experimental

• Datasets: ARC-AGI e ConceptARC (especificamente arc-aug-1000 e ConceptARC-mini).
• Métricas: Métrica primária é a Perda de LM por Token (entropia cruzada); métricas secundárias incluem acurácia e perda de alinhamento.
• Varreduras (Sweeps):
  • Varredura de Persistência: Variando $P$ (de 1 a 8) com $\lambda=0.05$ fixo.
  • Varredura de Peso de Alinhamento: Variando $\lambda$ (de 0.01 a 1.0) com $P=4$ fixo.
  • Estudo de Ablação: Um experimento controlado de três células em $\lambda=0.10$ (passado o ótimo) para isolar a fonte de interferência.

Principais Resultados

1. A Persistência da Submeta é o Controle Central

O estudo descobre que a persistência é necessária, não opcional.

• Subcomprometimento ($P=1$): Quando as submetas são revisadas a cada passo, o desempenho cai significativamente (Perda LM 1.674) em comparação com a linha de base sem submeta (1.640). O mecanismo de injeção sozinho, sem coerência temporal, prejudica o desempenho.
• Ponto Ideal ($P \in [3, 6]$): O desempenho melhora drasticamente em $P=3$ (Perda LM 1.544, uma queda de 0.13 em relação à linha de base) e permanece robusto até $P=6$.
• Sobrecomprometimento ($P=8$): O desempenho decai apenas gradualmente conforme $P$ aumenta além do ótimo. Isso indica que a obsolescência (staleness) é um modo de falha mais suave do que a instabilidade; uma submeta levemente obsoleta ainda fornece consistência direcional, enquanto uma submeta instantaneamente revisada não fornece nenhuma.
• Replicação: A configuração $P=3$ foi replicada em 5 sementes, resultando em uma perda LM média de 1.595 (std 0.045), confirmando que o resultado não é um artefato de uma única semente.

2. Ótimo Estreito para o Peso de Alinhamento ($\lambda$)

• O peso de alinhamento exibe um ótimo estreito em $\lambda \approx 0.05$.
• Em $\lambda = 0.10$, o desempenho aproxima-se da linha de base, e em $\lambda \ge 0.20$, degrada-se abaixo da linha de base.
• Isso sugere que a perda de alinhamento funciona melhor como um prior de planejamento leve que molda suavemente a dinâmica do trabalhador, em vez de um constrangimento geométrico dominante que compete com o gradiente da tarefa.

3. Fonte de Interferência (Estudo de Ablação)

Em $\lambda=0.10$ (passado o ótimo), o mecanismo completo tem desempenho inferior à linha de base. Uma ablação controlada isolou a causa:

• $A_{full}$ (Direções Aprendidas): Desempenho inferior à linha de base (+0.100 de perda LM).
• $E_{random}$ (Direções Aleatórias): Desempenho quase idêntico à linha de base (+0.003 de perda LM).
• Conclusão: A interferência é especificamente impulsionada pela estrutura direcional aprendida, não pela capacidade arquitetônica ou pelo termo de perda auxiliar em si. Quando o peso de alinhamento é muito alto, as direções aprendidas capturam capacidade representacional que o trabalhador usaria para a tarefa, puxando o trabalhador para direções que servem ao alinhamento, mas não ao objetivo do LM.

Significância e Alegações

O artigo afirma identificar um princípio de design fundamental para o planejamento composicional em sistemas de raciocínio latente: a intenção de médio horizonte deve ser coerente ao longo de passos computacionais suficientes para que a estrutura composicional se forme.

• Princípio de Design: Um mecanismo de submeta sem persistência ($P=1$) possui a forma arquitetônica de composicionalidade (gerente, trabalhador, vetor de intenção), mas carece de sua função. Ele não consegue produzir a estrutura temporalmente estendida necessária para distinguir "planejar uma sequência de passos" de "dar um único passo com sinal extra".
• Equilíbrio Estabilidade-Adaptatividade: As descobertas quantificam o equilíbrio, mostrando que planejadores latentes requerem um horizonte de coerência mínimo ($P \ge 3$) para organizar a computação, mas que a obsolescência (longo $P$) é mais tolerável do que a instabilidade.
• Papel do Alinhamento: O sinal de alinhamento atua como um prior suave. É mais eficaz quando guia o trabalhador sem sobrepor os gradientes específicos da tarefa, como evidenciado pelo ótimo estreito em $\lambda \approx 0.05$.

Os autores enquadram isso como uma contribuição para o aprendizado composicional, demonstrando que sinais de intenção de médio horizonte explícitos, quando persistidos corretamente, permitem a montagem de atualizações de estado oculto condicionadas a submetas em computações de horizonte mais longo. O trabalho é empiricamente modesto, observando que os ganhos são relativos à linha de base e restritos a tarefas do tipo ARC, mas o equilíbrio identificado é apresentado como uma restrição generalizável para o raciocínio latente hierárquico.