Less Languages, Less Tokens: An Efficient Unified Logic Cross-lingual Chain-of-Thought Reasoning Framework

---

1. Problema Identificado

O raciocínio de Cadeia de Pensamento (CoT) multilíngue, especificamente o XCoT (Cross-lingual Chain-of-Thought), demonstrou melhorar significativamente a capacidade de raciocínio de Grandes Modelos de Linguagem (LLMs) ao aproveitar a complementaridade entre diferentes idiomas. No entanto, os métodos existentes de test-time scaling (escalonamento no tempo de inferência) baseados em auto-consistência enfrentam duas limitações críticas de eficiência:

1. Amostragem de Idiomas Completos (Full-Language Sampling): Abordagens tradicionais geram trajetórias de raciocínio completas em todos os idiomas candidatos, assumindo implicitamente que todos são igualmente importantes. Isso resulta em computação redundante para idiomas irrelevantes para a consulta específica.
2. Raciocínio de Trajetória Completa (Full-Trace Reasoning): Os métodos geram todas as trajetórias de raciocínio até o fim, mesmo que algumas se desviem logicamente ou sejam de baixa qualidade.
3. Incompatibilidade de Representações: As representações internas dos LLMs variam fortemente entre idiomas, dificultando a comparação direta de características e a poda eficiente de caminhos de raciocínio ineficazes.

Esses fatores levam a custos de inferência (tokens e latência) que crescem linearmente com o número de idiomas, gerando um desperdício massivo de recursos sem ganhos proporcionais de precisão.

2. Metodologia: UL-XCoT

Os autores propõem o UL-XCoT (Unified Logic Cross-lingual Chain-of-Thought), um framework unificado que visa minimizar a redundância em dois níveis: seleção de idiomas e geração de tokens. O framework opera através de três módulos principais:

A. Mecanismo de Lógica Unificada (Unified Logic Mechanism - ULM)

Para permitir a comparação justa entre raciocínios em diferentes idiomas, o ULM cria um espaço de representação lógica unificado.

• Funcionamento: O método projeta os estados ocultos (hidden states) do modelo em um espaço compartilhado, removendo as variações superficiais específicas de cada idioma (como diferenças sintáticas ou lexicais) enquanto preserva a estrutura do raciocínio relevante para a tarefa.
• Técnica: Utiliza um conjunto de validação para calcular "centros de idioma" em uma camada específica do Transformer. Através de Decomposição em Valores Singulares (SVD), identifica o subespaço de variação linguística e projeta os dados no complemento ortogonal (o espaço compartilhado). Isso torna os estados de entendimento de diferentes idiomas comparáveis.

B. Seleção de Idiomas Candidatos (Candidate Language Selection - CLS)

Antes de iniciar a geração de texto, o CLS filtra quais idiomas devem ser usados para uma consulta específica.

• Mecanismo: Calcula um Score de Similaridade de Compreensão (USS) no espaço lógico unificado. Compara o estado de entendimento da consulta original com representações semânticas equivalentes em outros idiomas.
• Ação: Seleciona apenas o top-k idiomas mais relevantes (o conjunto $L_{par}(x)$). Isso reduz drasticamente o número de idiomas processados ("Less Languages"), evitando a geração em idiomas que não contribuem para a solução.

C. Poda Dinâmica de CoT (Dynamic Chain-of-Thought Pruning - DCP)

Durante a decodificação (geração token a token), o DCP monitora a qualidade das trajetórias de raciocínio em tempo real.

• Mecanismo: Após uma fase de "aquecimento" (warm-up), o sistema calcula um Score de Qualidade Lógica (LQS) baseado na evolução e estabilidade geométrica das trajetórias no espaço unificado.
• Ação: Identifica e poda (interrompe) precocemente trajetórias que mostram sinais de inconsistência lógica, desvio ou baixa qualidade. Apenas os caminhos de alta qualidade continuam a ser gerados ("Less Tokens").

Finalmente, as respostas das trajetórias restantes são agregadas via votação para produzir a resposta final.

3. Principais Contribuições

1. Identificação de Ineficiência Inerente: O trabalho aponta que a enumeração completa de idiomas em paradigmas de ensemble multilíngue é uma fonte de redundância computacional desnecessária.
2. Framework UL-XCoT: Introdução de um framework de auto-consistência eficiente que ataca a ineficiência em duas dimensões:
   • Menos Idiomas: Seleção adaptativa de consultas baseada em similaridade de compreensão.
   • Menos Tokens: Poda dinâmica de caminhos de raciocínio de baixa qualidade durante a inferência.
3. Espaço Lógico Unificado: Desenvolvimento de um mecanismo para alinhar representações multilíngues, permitindo a comparação e poda direta de trajetórias de raciocínio que antes eram incomparáveis.

4. Resultados Experimentais

Os experimentos foram conduzidos em dois benchmarks principais: PolyMath (18 idiomas, raciocínio matemático) e MMLU-ProX-Lite (29 idiomas, conhecimento geral). O modelo base utilizado foi o DeepSeek-R1-Distill-Qwen-7B.

• Eficiência Superior:

  • O UL-XCoT reduziu o custo de tokens em mais de 50% em comparação com o AUTOCAP e mais de 65% em comparação com o Self-Consistency (SC) padrão.
  • A latência de inferência foi significativamente menor (ex: redução de 43s para 28s em alguns cenários no PolyMath).
  • O método evitou "overthinking" (pensamento excessivo) em idiomas de alto recurso, mantendo um comportamento de inferência mais estável.

• Desempenho Competitivo:

  • Mantém uma precisão competitiva (DW-ACC) comparável ou superior aos métodos de base, mesmo com drasticamente menos tokens gerados.
  • No PolyMath, alcançou a melhor precisão média ponderada pela dificuldade.

• Robustez em Idiomas de Baixo Recurso:

  • O método demonstrou ganhos mais estáveis e robustos em idiomas de baixo recurso, onde os métodos tradicionais de auto-consistência frequentemente falham devido à falta de sinais de amostragem fortes.
  • A ablação mostrou que a colaboração multilíngue real (não apenas a poda) contribui para o ganho de desempenho, especialmente nesses idiomas.

• Generalização:

  • Os resultados se generalizaram bem para o benchmark MMLU-ProX-Lite, confirmando que a abordagem não é limitada apenas a tarefas matemáticas.

5. Significado e Impacto

O UL-XCoT representa um avanço significativo na eficiência de inferência de LLMs multilíngues. Ao demonstrar que é possível obter raciocínio de alta qualidade sem gerar trajetórias completas em todos os idiomas, o trabalho oferece um caminho viável para a implantação de modelos de raciocínio complexos em ambientes com restrições de custo e latência.

• Viabilidade Econômica: A redução de mais de 50% nos tokens torna o raciocínio multilíngue escalável para aplicações do mundo real.
• Inclusividade: A melhoria de desempenho em idiomas de baixo recurso ajuda a reduzir a disparidade de qualidade entre idiomas dominantes e minoritários em LLMs.
• Novo Paradigma: Estabelece a ideia de que a "unificação lógica" no espaço latente é uma chave para gerenciar a complexidade multilíngue, permitindo técnicas de otimização (como poda) que eram anteriormente impossíveis devido à heterogeneidade linguística.

Em resumo, o artigo prova que "menos idiomas e menos tokens" não significam "menos inteligência", mas sim uma alocação mais inteligente e eficiente dos recursos computacionais durante o raciocínio.