💬 NLP

J-CoT: Chain-of-Thought in J-Space

Este artigo introduz o J-CoT, um framework de raciocínio recorrente que melhora os métodos de raciocínio latente existentes ao propagar estados intermediários como coeficientes indexados pelo vocabulário dentro de um sistema de coordenadas "J-space", permitos assim o cálculo eficiente sem a necessidade de racionales totalmente verbalizados ou recorrência de estado oculto densa.

Autores originais: Junde Wu, Jiayuan Zhu, Fengling Liu, Minhao Hu, Jiazhen Pan

Publicado 2026-07-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Junde Wu, Jiayuan Zhu, Fengling Liu, Minhao Hu, Jiazhen Pan

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

A Linguagem Secreta das Máquinas de Pensar

Imagine que você está tentando ensinar um robô superinteligente a resolver um quebra-cabeça difícil. No passado, a melhor maneira de fazer isso era forçar o robô a "pensar em voz alta". Ele teria que escrever cada passo de seu raciocínio em sentenças perfeitas em inglês antes de poder lhe dar a resposta final. Isso é chamado de Cadeia de Pensamento (Chain-of-Thought), e funciona bem porque desacelera o robô, permitindo que ele verifique seu próprio trabalho. Mas há um problema: forçar um robô a falar em frases completas é como pedir a um humano para sussurrar todo o seu monólogo interno para um amigo antes mesmo de conseguir terminar um pensamento. É lento, e desperdiça energia com gramática e narrativa quando o robia só precisa fazer algum cálculo ou lógica.

No outro extremo do espectro, alguns cientistas tentaram deixar o robô pensar em total silêncio, passando sinais secretos e invisíveis entre os passos. Isso é chamado de Raciocínio Latente (Latent Reasoning). É mais rápido, mas é como tentar passar um bilhete na sala de aula que foi escrito em um código tão denso e bagunçado que ninguém sabe exatamente qual informação é realmente importante. O robô pode se perder em um mar de números sem uma forma clara de organizar seus pensamentos.

Então, a grande questão para os pesquisadores é: existe um meio-termo? Podemos dar ao robô uma maneira de passar seus pensamentos adiante que seja organizada e clara, mas que não perca tempo transformando cada pequena ideia em uma frase completa? Este é o problema que o artigo "J-COT: Chain-of-Thought in J-Space" se propõe a resolver.

A Grande Ideia do Artigo: O "Pensamento-J"

Os autores introduzem um novo método chamado J-CoT (J-Chain-of-Thought). Em vez de forçar o robô a escrever uma história ou passar um bloco de dados bagunçado, o J-CoT usa um intermediário inteligente chamado pensamento-J (J-thought).

Pense no cérebro do robô como uma biblioteca massiva com milhões de livros. Quando o robô está pensando, ele geralmente retira livros inteiros (sentenças) para ler e escrever. Mas o J-CoT sugere que, entre os passos, o robô não precisa retirar o livro inteiro. Em vez disso, ele só precisa passar um cartão de biblioteca com uma lista de números de páginas e destaques específicos.

Veja como funciona em seu sistema de "espaço-J":

O Índice de Vocabulário: Imagine que cada palavra no vocabulário do robô tem um endereço único em seu cérebro.
O Pensamento-J: Ao final de um passo de pensamento, o robô não escreve uma frase. Em vez disso, ele olha para seu cérebro e diz: "Estou focando nos conceitos relacionados a estes endereços de palavras específicos, e aqui está o quão forte é meu foco". Ele cria uma lista curta de números (coeficientes) anexados a esses endereços de palavras.
A Entrega: Esta lista é o pensamento-J. Ela é passada para o próximo passo. Não é uma frase, portanto é rápida. Mas, como está ligada a palavras específicas, é organizada e significativa.
O Próximo Passo: O robô pega esta lista, procura os "endereços" em seu cérebro e usa essa informação para continuar pensando. Ele pode então realizar todo o seu trabalho pesado em seu cére else, complexo cérebro sem ser forçado a falar até estar pronto para dar a resposta final.

O Que Eles Descobriram

Os pesquisadores testaram essa ideia em algumas tarefas muito difíceis, como resolver problemas matemáticos complexos, responder perguntas científicas e escrever códigos de computador. Eles compararam o J-CoT contra o antigo método de "pensar em voz alta" e o método do "código secreto".

Os resultados foram bastante promissores. Eles descobriram que o J-CoT-Zero (uma versão que não exigia treinamento extra) já era tão bom quanto, ou às vezes melhor do que, os melhores métodos de "código secreto" que testaram. Ele conseguiu igualar ou superar os principais competidores em cada benchmark que tentaram, desde quebra-cabeças matemáticos até desafios de programação.

Melhor ainda, quando treinaram uma versão chamada J-CoT-Train para se tornarem ainda melhores em ler e escrever esses "cartões de biblioteca", ela se tornou a vencedora clara. Ela obteve as pontuações mais altas em todas as tarefas de matemática, ciência, codificação e lógica que testaram. Por exemplo, em um teste de matemática difícil chamado MATH-500, a versão treinada saltou de uma pontuação de 50,4% (o recorde anterior) para 54,0%.

Por Que Isso Importa (E O Que Não É)

O artigo sugere que esta interface de "espaço-J" é um ponto ideal. Ele prova que você não precisa forçar um robô a falar em frases completas para fazê-lo pensar claramente, mas também não precisa deixá-lo vagar em uma névoa de números invisíveis. Ao usar esta lista indexada pelo vocabulário, o robô pode manter seus pensamentos organizados sem a sobrecarga da gramática.

No entanto, os autores são cuidadosos ao não afirmar que isso é uma solução mágica que resolve tudo para sempre. Eles observam que seus resultados são baseados em testes e modelos específicos. Eles também apontam que, embora o "pensamento-J" seja um excelente meio-termo, o robô ainda precisa realizar seu processamento pesado dentro de seu cérebro; o pensamento-J é apenas o mensageiro.

Em resumo, o artigo sugere que, ao mudar como um robô passa seus pensamentos de um passo para o próximo — de frases completas para uma lista inteligente baseada em palavras — podemos torná-lo mais inteligente, rápido e eficiente na resolução de problemas difíceis. É como perceber que, para transmitir uma mensagem em uma sala lotada, você não precisa gritar um parágrafo ou sussurrar um código secreto; você só precisa levantar um cartaz com as palavras-chave certas.

Resumo Técnico: J-CoT: Chain-of-Thought em J-Space

1. Definição do Problema

Os Grandes Modelos de Linguagem (LLMs) atualmente dependem de dois paradigmas primários para o raciocínio recorrente, ambos os quais apresentam limitações:

Chain-of-Thought (CoT) Explícita: Esta abordagem utiliza a linguagem natural como a interface recorrente. Embora eficaz, ela força cada estado intermediário a ser serializado em tokens discretos. Isso exige que o modelo se comprometa com formas gramaticais, continuidade discursiva e explicações explícitas mesmo quando estas são desnecessárias para o próximo passo de raciocínio. Isso restringe o estado passado entre os ciclos a uma interpretação linguística específica.
Raciocínio Latente Denso: Métodos como o Coconut propagam estados ocultos contínuos entre os passos de computação, evitando a necessidade de verbalização. No entanto, esses métodos passam um vetor oculto denso como um todo. Essa interface carece de um mecanismo explícito para selecionar e organizar a informação específica necessária para o próximo passo de raciocínio, potencialmente carregando ruído irrelevante ou não estruturado.

O artigo postula a necessidade de uma interface intermediária que seja linguisticamente fundamentada (ancorada no vocabulário do modelo), mas não sentencial (não exigindo uma sentença decodificada), permitindo a computação total no espaço oculto dentro dos ciclos, ao mesmo tempo em que fornece um estado estruturado para a recorrência.

2. Metodologia: J-CoT

Os autores introduzem o J-CoT, um framework de raciocínio recorrente que opera dentro de um J-space, um sistema de coordenadas indexado pelo vocabulário derivado das representações ocultas do modelo.

2.1 Conceito Central: O J-Thought

Em vez de passar tokens decodificados ou vetores densos, o J-CoT passa um J-thought: um estado de coeficientes indexados pelo vocabulário.

Construção do J-Space: O método constrói um dicionário para cada camada $\ell$ através da retropropagação de direções do vocabulário da camada final através da Jacobiana média descendente. Isso cria um índice de vocabulário compartilhado através de diferentes geometrias de camadas.
Extração e Reconstrução:
- Escrita (Extração): Em uma camada de escrita designada, o modelo extrai coeficientes não negativos sobre o dicionário do J-space a partir de posições "portadoras" específicas usando uma decomposição elastic-net. Isso forma a matriz do J-thought $A_t$ .
- Leitura (Reconstrução): Em uma camada de leitura designada, esses coeficientes são reconstruídos no fluxo residual usando o dicionário da camada de leitura. Um portão de leitura aprendido regula a integração deste estado com a base condicionada ao prompt.
Posições Portadoras: O modelo anexa $M$ posições portadoras não linguísticas ao input. Essas posições participam de computações padrão de auto-atenção e feed-forward, mas nunca são decodificadas. Elas servem como os locais de leitura/escrita para o J-thought.

2.2 Mecanismo Recorrente

O ciclo J-CoT opera da seguinte forma:

Inicialização: O prompt e os embeddings portadores neutros são propagados para a camada de leitura.
Leitura: O J-thought anterior é reconstruído na camada de leitura e integrado via gating nas ativações portadoras.
Computação: Os portadores e o prompt propagam-se através das camadas intermediárias do Transformer (da camada de leitura até a camada de escrita) usando representações ocultas densas e irrestritas.
Escrita: Na camada de escrita, novos coeficientes são extraídos das ativações portadoras para formar o próximo J-thought.
Terminação: A recorrência para quando o J-thought estabiliza (baixa mudança na norma de Frobenius) ou um orçamento máximo de ciclo é atingido. O estado final condiciona a decodificação autorregressiva da resposta.

2.3 Configurações

J-CoT-Zero: Uma configuração livre de treinamento que utiliza componentes de interface fixos (embeddings pré-treinados médios, força de leitura unitária). Não requer otimização específica para o J-CoT.
J-CoT-Train: Uma variante treinável que otimiza os embeddings portadores e o portão de leitura, mantendo o Transformer subjacente e os dicionários da lente J congelados.

3. Principais Contribuições

Framework J-CoT: Introdução de um framework de raciocínio recorrente que carrega um estado de J-thought indexado pelo vocabulário através de ciclos, fazendo a ponte entre o raciocínio linguístico explícito e a recorrência latente densa.
Mecanismo de Leitura-Escrita Nativo do Modelo: Desenvolvimento de um mecanismo que utiliza coordenadas do J-space para transportar estado sem racionales decodificados ou recorrência total do estado oculto, permitindo que o modelo preserve informações difíceis de expressar em linguagem natural enquanto mantém uma interface estruturada.
Validação Empírica: Avaliação abrangente através de tarefas de raciocínio matemático, QA científico, geração de código e raciocínio de caminho estruturado, demonstrando que o J-CoT iguala ou excede baselines fortes.

4. Resultados Experimentais

Os experimentos foram conduzidos no backbone Qwen3-8B-Base (e escalados para modelos maiores) em oito benchmarks: GSM8K, MATH-500, AIME 2024, GPQA-Diamond, HumanEval+, MBPP+, LiveCodeBench e CRUXEval.

Desempenho vs. Baselines:
- O J-CoT-Train alcançou as pontuações mais altas em todas as tarefas avaliadas, superando o baseline de raciocínio latente mais forte (SIM-Coconut) em uma média de 2,7 pontos percentuais (50,2% vs. 47,5%).
- O J-CoT-Zero (livre de treinamento) igualou ou superou o SIM-Coconut em todos os benchmarks, elevando a pontuação média para 47,9% sem qualquer otimização específica de J-CoT.
- Ambas as variantes do J-CoT superaram significativamente o CoT linguístico padrão e os baselines PS+.
Escalabilidade: O J-CoT exibe um escalonamento positivo tanto com a capacidade do modelo (de 7B a 405B parâmetros) quanto com a profundidade de raciocínio (orçamentos de ciclo adaptativos). Modelos maiores beneficiam-se mais de ciclos de raciocínio adicionais.
Espectro de Interface: Um experimento de interpolação entre estados latentes densos ( $\lambda=0$ ), J-thoughts ( $\lambda=0.5$ ) e estados linguísticos explícitos ( $\lambda=1$ ) revelou uma tendência não monotônica. O desempenho atingiu o pico na configuração J-CoT ( $\lambda=0.5$ ), sugerindo que ela oferece um equilíbrio ideal entre preservar caminhos de raciocínio alternativos (ao contrário do CoT explícito) e reduzir a persistência de caminhos inválidos (ao contrário dos métodos latentes densos).
Ablações: Remover a leitura do J-thought ou colapsar o J-thought para um único portador degradou significativamente o desempenho, validando a necessidade do design de múltiplos portadores e indexação por vocabulário.

5. Significância e Alegações

O artigo afirma que o J-CoT demonstra a viabilidade de interfaces recorrentes nativas do modelo como uma alternativa superior tanto para estados totalmente verbalizados quanto para estados latentes totalmente densos.

Fundamentação Linguística sem Verbalização: Os resultados apoiam a hipótese de que um sistema de coordenadas indexado pelo vocabulário (J-space) permite a extração e o reuso de computações internas sem o overhead de gerar texto intermediário fluente.
Eficiência e Estrutura: Ao evitar o compromisso com uma interpretação linguística específica em cada etapa, o J-CoT permite que o modelo carregue adiante computações incertas ou distribuídas de forma mais eficaz do que o CoT explícito, enquanto a indexação pelo vocabulário fornece um mecanismo de seleção ausente nos métodos latentes densos.
Potencial Livre de Treinamento: O forte desempenho do J-CoT-Zero sugere que o Transformer pré-treinado já contém um sistema de coordenadas J-space utilizável, não exigindo treinamento adicional para alavancar essa capacidade recorrente.

Os autores concluem que o J-CoT motiva o estudo de tais interfaces, oferecendo um caminho para um raciocínio mais eficiente e estruturado em grandes modelos de linguagem.