Resumo Técnico: Typhoon-S: Pós-treinamento Mínimo e Aberto para Grandes Modelos de Linguagem Soberanos

1. Declaração do Problema

O desenvolvimento de Grandes Modelos de Linguagem (LLMs) de última geração está atualmente concentrado em um pequeno número de organizações que possuem recursos computacionais massivos e acesso a conjuntos de dados linguísticos de grande escala e alto recurso (principalmente inglês e chinês). Isso cria uma barreira de "gatekeeping de recursos" para configurações soberanas — cenários onde instituições nacionais ou regionais devem manter controle total sobre os pesos do modelo, dados de treinamento e metodologias, operando sob rigorosas restrições de transparência e orçamentos computacionais limitados.

Os modelos base existentes, adaptados para fins soberanos, frequentemente exibem um forte conhecimento regional, mas ficam significativamente atrás em termos de seguimento de instruções gerais, uso de ferramentas e comportamentos agênticos. A receita padrão de pós-treinamento para preencher essa lacuna — escalar corpora de instrução de propósito geral massivos e pipelines complexos de Refinamento por Reforço (RFT) — é frequentemente inacessível para grupos de pesquisa menores ou iniciativas nacionais devido à complexidade da engenharia e aos requisitos de dados.

O artigo identifica dois requisitos fundamentais para LLMs soberanos:

1. Adaptabilidade: A capacidade de transformar um modelo base em um assistente de propósito geral capaz de seguir instruções, realizar matemática, gerar código e utilizar ferramentas.
2. Capacidade Soberana: A capacidade de realizar tarefas específicas de uma região e de alto risco (ex: raciocínio jurídico local, conhecimento cultural) que estão sub-representadas em dados de pré-treinamento geral.

A questão central de pesquisa é: Qual estratégia de pós-treinamento pode permitir um desempenho competitivo com modelos de fronteira sob restrições de recursos de nível acadêmico?

2. Metodologia

Os autores propõem o Typhoon S, uma receita de pós-treinamento mínima e aberta projetada para abordar os requisitos acima, utilizando o tailandês como um estudo de caso representativo. A abordagem é dividida em dois pipelines distintos.

2.1 Pipeline para Adaptabilidade (SFT + OPD)

Para transformar modelos base em assistentes ajustados por instrução, os autores utilizam um pipeline de dois estágios:

1. Ajuste Fino Supervisionado (SFT - Supervised Fine-Tuning):
   • Dados: Um corpus unificado combinando dados de instrução em inglês de código aberto (Tulu 3, Toucan Tool) com um conjunto de dados dedicado em tailandês. O conjunto de dados em tailandês é construído via "AutoIF", traduzindo prompts de usuários reais (WildChat) e agregando instruções existentes em tailandês, aumentadas com tradução e posicionamento de restrições aleatórias para melhorar a robustez na alternância de códigos (code-switching).
   • Objetivo: Equipar o modelo base com habilidades básicas de seguimento de instrução e uso de ferramentas.
2. Destilação On-Policy (OPD - On-Policy Distillation):
   • Mecanismo: Após o SFT, o modelo passa por uma Destilação de Conhecimento Generalizada (GKD). Diferente da destilação offline, a OPD utiliza o modelo estudante para gerar trajetórias (dados on-policy) que são então corrigidas por um modelo professor.
   • Implementação: Os autores implementam um framework leve usando HuggingFace Transformers e TRL para permitir a destilação de logit total (full-logits distillation) em hardware limitado (4–8 GPUs H100) via troca dinâmica de modelos e offloading de CPU.
   • Objetivo: Minimizar a divergência entre as distribuições de tokens do estudante e do professor para reduzir o descompasso entre treino e inferência e melhorar a generalização.

2.2 Pipeline para Capacidade Soberana (InK-GRPO)

Para aumentar o raciocínio específico de domínio e a injeção de conhecimento, os autores introduzem o Injected Knowledge GRPO (InK-GRPO), uma extensão do algoritmo de Otimização de Política Relativa de Grupo (GRPO - Group Relative Policy Optimization).

• O Desafio: O RFT padrão amplifica o conhecimento existente, mas tem dificuldade em injetar novos fatos específicos de domínio ou suportar comportamentos agênticos complexos.
• A Solução (InK-GRPO): O objetivo de treinamento é aumentado com uma perda de entropia cruzada estocástica (CE - Cross-Entropy) calculada em um corpus de texto separado de domínio (dados de estilo pré-treinamento).
  • Fórmula: $L = L_{GRPO} + \lambda \cdot b \cdot L_{CE}$, onde $b \sim \text{Bernoulli}(\rho)$.
  • Mecanismo: Isso permite que o modelo alterne entre a otimização focada na tarefa (GRPO) e a aquisição de conhecimento de domínio (perda CE) dentro do mesmo passo de treinamento.
• RFT Agêntico: O framework é estendido para um cenário agêntico onde o modelo interage com um ambiente de Geração Aumentada por Recuperação (RAG) usando ferramentas de busca (search) e leitura (read). O modelo aprende a intercalar o raciocínio com chamadas de ferramentas para resolver problemas de múltiplos passos.

3. Principais Contribuições

1. Definição de Requisitos Soberanos: O artigo formaliza as necessidades duplas de adaptabilidade (capacidades de assistente geral) e capacidade soberana (tarefas de alto risco específicas da região) para configurações de recursos limitados.
2. Receita de Adaptabilidade Mínima: Um pipeline validado combinando SFT leve e Destilação On-Policy (OPD) que transforma modelos base adaptados para soberania em assistentes ajustados por instrução competitivos sem escala massiva.
3. InK-GRPO: Um novo algoritmo que aumenta o GRPO com a predição estocástica do próximo token em dados de domínio. Isso permite a otimização simultânea do desempenho da tarefa e a injeção de novo conhecimento de domínio, abordando uma limitação fundamental do RFT padrão.
4. Extensão de RFT Agêntica: Demonstrar que o InK-GRPO pode ser aplicado efetivamente em cenários de raciocínio agêntico de múltiplos turnos com uso de ferramentas externas.

4. Resultados

Os experimentos foram conduzidos utilizando o tailandês como o principal caso de teste, utilizando modelos variando de 4B a 8B parâmetros treinados em 4–8 GPUs H100.

Resultados de Adaptabilidade

• SFT vs. SFT+OPD: O SFT sozinho foi considerado insuficiente para um desempenho robusto, particularmente em alternância de códigos (code-switching) e uso de ferramentas. A adição de OPD melhorou a pontuação média nos benchmarks em +6,49 pontos e aumentou significativamente a robustez em tarefas de alternância de códigos em tailandês.
• Full-Logits vs. Top-K: A destilação de logit total forneceu robustez superior em geração aberta e alternância de códigos multilíngue em comparação com a destilação Top-K, embora a Top-K tenha sido suficiente para tarefas com restrições.
• Adaptação do Modelo Base: A receita transformou com sucesso o modelo base adaptado para soberania ThaiLLM-8B no Typhoon-S-8B Instruct. Este modelo superou o Qwen3-8B de propósito geral em benchmarks estritos de tailandês (Chat, Code-Switching, OpenThaiEval), mantendo um desempenho competitivo em tarefas gerais de inglês.

Resultados de Capacidade Soberana

• Eficácia do InK-GRPO: No NitiBench (raciocínio jurídico tailandês), o InK-GRPO alcançou 19,30% de precisão comparado a 15,82% para o GRPO padrão. No MIRAGE-Bench, também apresentou ganhos consistentes.
• Fonte de Dados: O texto de domínio em estilo pré-treinamento mostrou-se mais eficaz para o componente de perda CE do que os dados de instrução do tipo SFT, provavelmente porque evita o super-ajuste da política.
• Desempenho Agêntico: Em uma configuração agêntica RAG de múltiplos turnos, o Typhoon-S-4B Legal Agent (treinado com Agentic InK-GRPO) alcançou 78,02% de precisão no NitiBench, superando tanto o treinamento apenas com GRPO (73,73%) quanto o GPT-5 com configurações agênticas comparáveis (75,34%).
• Retenção de Capacidade Geral: Crucialmente, os modelos treinados com InK-GRPO não mostraram evidências de esquecimento catastrófico severo. As pontuações de capacidade geral permaneceram estáveis (dentro de uma faixa estreita de 48,08%–49,55%) em todos os benchmarks, indicando que a especialização de domínio não degradou o raciocínio ou o conhecimento geral.

5. Significância e Alegações

O artigo argumenta que o design cuidadoso do pós-treinamento, em vez da escala pura, é a chave para LLMs soberanos práticos.

• Eficiência de Recursos: As receitas propostas alcançam resultados de alta qualidade com recursos de escala acadêmica (aproximadamente dois dias de treinamento com 8 GPUs para adaptabilidade e um dia de 4 GPUs para capacidade soberana).
• Transparência e Controle: Ao depender de conjuntos de dados abertos e pipelines mínimos e transparentes, o Typhoon S oferece um caminho viável para que instituições nacionais desenvolvam modelos que controlem totalmente, compreendam e possam adaptar aos contextos culturais e legais locais.
• Generalização: Embora o estudo foque no tailandês, os autores afirmam que a metodologia não está presa ao conjunto de dados específico e é generalizável para outras línguas e contextos culturais.

Os autores concluem que sua abordagem oferece um "caminho prático para LLMs soberanos de alta qualidade", demonstrando que pipelines complexos e pesados em recursos não são estritamente necessários para alcançar um desempenho competitivo tanto em domínios gerais quanto específicos de uma região.