Bridging the Reasoning Gap in Vietnamese with Small Language Models via Test-Time Scaling

Resumo Técnico: Preenchendo a Lacuna de Raciocínio em Modelos de Linguagem Pequenos (SLMs) via Escalonamento no Tempo de Teste

Título Original: Bridging the Reasoning Gap in Vietnamese with Small Language Models via Test-Time Scaling
Autores: Bui The Trung, Do Minh Duc, Nguyen Van Vinh, Bui Nguyen Quoc Trinh.
Contexto: Workshop Nacional de IA (FJCAI), Cần Thơ, 2026.

1. O Problema

A democratização da IA depende da capacidade de implantar modelos sofisticados em dispositivos com recursos limitados (edge computing). No entanto, Modelos de Linguagem Pequenos (SLMs), especificamente aqueles com menos de 2 bilhões de parâmetros (como o Qwen3-1.7B), enfrentam uma "lacuna de raciocínio".

• Desafio Principal: Embora esses modelos possuam fluência linguística, eles falham em manter cadeias de pensamento coerentes em tarefas de raciocínio lógico e matemático, especialmente em idiomas de recursos limitados como o Vietnamita.
• Fenômeno Observado: Os modelos tendem a produzir cálculos corretos sem explicação ou cometem erros de formatação e lógica que invalidam a solução, falhando em atuar como "tutores" pedagógicos.
• Objetivo: Investigar se estratégias de Escalonamento no Tempo de Teste (Test-Time Scaling) e ajuste fino supervisionado (SFT) podem superar essa lacuna em SLMs para o contexto de matemática elementar vietnamita.

2. Metodologia

A. Arquitetura e Modelo Base

• Modelo: Qwen3-1.7B (um modelo denso Transformer com 28 camadas, otimizado para densidade e usando Grouped Query Attention - GQA).
• Configuração: Treinado em ~36 trilhões de tokens, com janela de contexto de 32k tokens.

B. Construção de Dados (Vi-S1K)
Para superar a escassez de dados de raciocínio em vietnamita, os autores criaram o conjunto de dados Vi-S1K:

• Pipeline de Tradução Inteligente: Em vez de tradução neural padrão, utilizaram a API do Gemini 2.5 Flash-Lite com prompts de sistema contextuais.
• Três Estágios:
  1. Tradução Contextual: Preservação da lógica matemática e formatação LaTeX.
  2. Normalização de Terminologia: Adaptação rigorosa de termos (ex: "ponto decimal" para "vírgula", "dividendo" para "số bị chia") conforme o Ministério da Educação do Vietnã.
  3. Adaptação Cultural: Localização de moedas e nomes próprios.
• Ajuste Fino (SFT): O modelo Qwen3-1.7B foi ajustado usando LoRA (Rank 64) sobre o Vi-S1K para aprender o formato de "trilha de raciocínio" (Chain-of-Thought).

C. Estratégias de Prompting
Foram testadas cinco estratégias no conjunto de avaliação Vi-Elementary-Bench (1.010 problemas):

1. Zero-shot: Resposta direta.
2. Few-shot: Exemplos in-contexto (k=3, k=5).
3. Chain-of-Thought (CoT): Instrução explícita "Pense passo a passo".
4. CoT Self-Consistency (CoT-SC): Geração de múltiplos caminhos de raciocínio (k=3, k=5) com votação majoritária para mitigar estocasticidade.
5. ReAct: Estrutura rígida de Pensamento-Ação-Observação (adaptada para raciocínio interno).

D. Avaliação (LLM-as-a-Judge)

• Juiz: Gemini 2.5 Flash-Lite.
• Critérios: Avaliação em escala de 1 a 5 em cinco dimensões: Precisão, Completude, Qualidade da Explicação, Estrutura Lógica e Adequação Cultural/Linguística.

3. Principais Contribuições

1. Benchmarks Duplos em Vietnamita:
   • Vi-S1K: Um conjunto de dados de treinamento de alta fidelidade para raciocínio matemático.
   • Vi-Elementary-Bench: Um conjunto de teste abrangente com 1.010 problemas (puzzles lógicos, poemas matemáticos, vocabulário técnico, etc.).
2. SFT como "Desbloqueador de Raciocínio": Evidência empírica de que o SFT transforma um modelo que apenas "calcula" em um que "explica", alinhando capacidades latentes com requisitos pedagógicos.
3. Análise de Trade-offs de Prompting: Descoberta de que estruturas complexas como ReAct impõem um "custo cognitivo" excessivo em modelos sub-2B, degradando o desempenho em comparação com CoT puro.

4. Resultados

A. Desempenho do Modelo Base (Pré-SFT)

• O modelo base já possuía conhecimento latente robusto (Precisão: ~4.05/5.00 com CoT).
• Falha Crítica: Baixa qualidade de explicação e completude (~2.6/5.0). O modelo fornecia a resposta correta, mas sem o processo lógico ou com terminologia inadequada.

B. Impacto do Ajuste Fino (Pós-SFT)

• Melhoria na Explicação: Aumento drástico de +2.00 pontos na qualidade da explicação (de 2.60 para 4.60).
• Melhoria na Completude: Aumento de +1.70 pontos.
• Precisão: Melhoria moderada (+0.50), indicando que o SFT ensinou o formato e a comunicação do raciocínio, não necessariamente a matemática nova.

C. Comparação de Estratégias de Prompting (Pós-SFT)

• Melhor Desempenho: CoT Self-Consistency (k=5) alcançou a pontuação geral mais alta (4.69/5.00). A votação majoritária mitigou erros estocásticos típicos de SLMs.
• Eficiência vs. Complexidade: O CoT padrão (4.59) ofereceu o melhor equilíbrio entre velocidade e precisão.
• Falha do ReAct: O framework ReAct performou pior (4.11) do que o CoT puro. A estrutura rígida (Pensamento/Ação/Observação) sobrecarregou a capacidade de atenção do modelo de 1.7B, causando erros de formatação e perda de foco no cálculo ("Cognitive Tax").

5. Significância e Conclusão

Este estudo estabelece uma hierarquia de implantação para SLMs em dispositivos de borda:

1. Otimização: Para tarefas críticas, CoT + Self-Consistency é superior.
2. Eficiência: Para interação em tempo real, CoT simples é ideal.
3. Restrição: Estruturas de agentes complexas (como ReAct) devem ser evitadas em modelos com menos de 2 bilhões de parâmetros, pois o overhead de formatação supera os benefícios.

Conclusão Final:
A pesquisa demonstra que a "quebra" no raciocínio em SLMs não é uma falta de conhecimento matemático, mas uma falha na comunicação e estruturação desse raciocínio. Ao combinar um ajuste fino direcionado (Vi-S1K) com estratégias de escalonamento no tempo de teste (CoT-SC), é possível transformar modelos pequenos em tutores eficazes para idiomas de recursos limitados, viabilizando a educação baseada em IA em dispositivos móveis e com restrições de energia.