Resumo Técnico: TFD – Um Conjunto de Dados Fundamentais Estruturado Abrangente para o Tibetano

1. Declaração do Problema

Apesar do sucesso notável dos Modelos de Linguagem de Grande Escala (LLMs) em idiomas de alto recurso, o progresso no idioma tibetano permanece severamente restringido. A limitação primária não é meramente a escassez de texto tibetano bruto, mas a ausência de um ecossistema de dados estruturalmente completo que cubra todo o pipeline de desenvolvimento moderno de LLMs. Os recursos tibetanos existentes são tipicamente de pequena escala, específicos de domínio, ruidosos e carecem de processamento padronizado. Crucialmente, nenhum recurso anterior suporta conjuntamente o espectro completo das etapas modernas de treinamento: pré-treinamento, ajuste fino de instruções, alinhamento de segurança, otimização de preferência e supervisão de raciocínio. Consequentemente, os LLMs tibetanos atuais exibem generalização limitada, modelagem de discurso fraca e geração instável.

2. Metodologia: O Conjunto de Dados Fundamentais Tibetano (TFD)

Para abordar essa lacuna estrutural, os autores introduzem o TFD, o primeiro conjunto de dados estruturado, de grande escala e curado por especialistas, projetado para cobrir o pipeline completo de desenvolvimento de LLMs para o tibetano. O TFD compreende dois subconjuntos de dados primários:

2.1 TIBSTC (Ajuste Fino Supervisionado Geral)

O TIBSTC é uma coleção multi-componente contendo mais de 11 bilhões de tokens distribuídos em cinco categorias:

• Corpus: Um corpus de pré-treinamento heterogêneo (122M+ instâncias) cobrindo literatura, direito, religião, medicina e comunicação diária. Inclui gramática e sintaxe tradicionais, preservando a distintividade cultural.
• Alpaca-Ti: Um conjunto de dados para ajuste fino supervisionado de instruções (42k instâncias), construído traduzindo e adaptando localmente o conjunto de dados Alpaca em inglês. Passou por um protocolo rigoroso de alinhamento de especialistas em duas etapas, envolvendo redação por duplo modelo (Google Translate/Claude-3.5-Sonnet) seguida por avaliação humana para fidelidade semântica e alinhamento cultural.
• Safety-Prompts-Ti: Um conjunto de dados de alinhamento de segurança (38k instâncias) cobrindo ataques de instrução (por exemplo, sequestro de objetivo, vazamento de prompt) e cenários de segurança (por exemplo, dano físico, ética).
• CValues-Ti: Um conjunto de dados de preferência de pequena escala (2k instâncias) focado na categorização de respostas orientadas à segurança (Seguro & Responsável, Seguro, Inseguro).
• hh-rlhf-Ti: Um conjunto de dados de otimização de preferência (47k instâncias) adaptado do HH-RLHF, reorganizado para se adequar aos padrões linguísticos tibetanos para melhorar a utilidade e a inocuidade.

2.2 TIBSTC-CoT (Raciocínio em Cadeia de Pensamento)

Este é o primeiro conjunto de dados nativo tibetano de cadeia de pensamento em grande escala. Foi construído por meio de um pipeline multi-estágio e multi-modelo envolvendo:

1. Formulação de Perguntas: Um agente gera perguntas diversas e contextualmente relevantes em cinco domínios (Ciências, Ciências da Vida, Humanidades, Ciências Sociais, Compreensivo).
2. Geração de CoT e Resposta: Um modelo gerador produz etapas intermediárias de raciocínio e respostas finais.
3. Avaliação Automática: Um modelo avaliador pontua as amostras quanto à coerência, lógica e adequação cultural.
4. Verificação Manual: Especialistas humanos validam as amostras retidas quanto à consistência factual e normas culturais.

2.3 Pipeline de Processamento de Dados

Os autores enfatizam um processo de curadoria rigoroso. Diferente de uma simples tradução automática, o pipeline envolve:

• Redação por Duplo Modelo: Geração de rascunhos com múltiplos LLMs.
• Avaliação Humana: Pontuação independente por especialistas tibetanos quanto à fidelidade semântica, fluência, conhecimento de domínio e alinhamento cultural.
• Arbitragem de Especialistas: Duas rodadas de revisão para elevar a taxa de aprovação de especialistas de ~28% (rascunho inicial) para 100%.
• Normalização Linguística: Garantia de consistência ortográfica e correção de sintaxe não natural.

3. Treinamento do Modelo: A Família Sun-Shine

Para validar o TFD, os autores treinaram a família de LLMs de referência Sun-Shine:

• Sun-Shine 1.0: Construído sobre a espinha dorsal Llama-3.1 (8B). Segue um pipeline de três etapas: Pré-treinamento no Corpus TIBSTC, Ajuste Fino Supervisionado (SFT) no Alpaca-Ti e Safety-Prompts-Ti, e Otimização Direta de Preferência (DPO) no CValues-Ti e hh-rlhf-Ti.
• Sun-Shine 2.0 (Sunshine-Thinking): Construído sobre a espinha dorsal Qwen-3 (variantes de 1.7B e 8B). É treinado via SFT usando TIBSTC-CoT para aprender explicitamente raciocínio multi-etapa.

4. Resultados Chave

Os autores avaliaram os modelos Sun-Shine contra bases fortes de comparação (incluindo GPT-4o, DeepSeek-R1 e várias variantes Qwen/Llama) no benchmark TLUE e em tarefas subsequentes.

4.1 Compreensão e Segurança (TLUE)

• Desempenho: O Sun-Shine 1.0 (8B) superou modelos significativamente maiores (por exemplo, Llama-3.1-405B, DeepSeek-R1) na Taxa de Resposta (RR) e Precisão (ACC) em categorias específicas da China, STEM e outras no Ti-MMLU.
• Segurança: O Sun-Shine 1.0 destacou-se em benchmarks de segurança (Ti-SafetyBench), particularmente em categorias como Atividades Ilegais e Ofensividade, atribuído à supervisão direcionada do Safety-Prompts-Ti.
• Raciocínio: O Sun-Shine 2.0 (Sunshine-Thinking) superou consistentemente as bases de comparação em tarefas de raciocínio multi-etapa. Notavelmente, a variante de 1.7B superou modelos maiores (por exemplo, GPT-4.1, Qwen-3-8B) em Ciências Sociais, demonstrando que a supervisão estruturada (CoT) gera ganhos independentes da escala de parâmetros.

4.2 Geração e Tradução

• Tradução: O Sun-Shine 1.0 alcançou as pontuações BLEU-4 e ROUGE mais altas em tarefas de tradução tibetano-chinês/inglês, superando o GPT-4o e o DeepSeek-R1.
• Alinhamento Cultural: Em avaliações qualitativas (geração de chinês clássico, poesia antiga), o Sun-Shine 1.0 manteve um estilo contido e alinhado culturalmente, enquanto modelos gerais maiores produziram saídas mais modernizadas ou embelezadas.

4.3 Estudos de Ablação

Estudos de ablação correspondentes a tokens confirmaram que os ganhos de desempenho em tarefas de raciocínio foram impulsionados pela estrutura de supervisão (dados CoT) e não pelo aumento do volume de tokens, pois o CoT-SFT superou o SFT padrão e o DeCoT-SFT (sem etapas de raciocínio) apesar de orçamentos de tokens idênticos.

5. Significado e Alegações

O artigo alega que o avanço da modelagem de idiomas de baixo recurso requer não apenas escala, mas um ecossistema de dados estruturalmente completo.

• Primeiro de seu Tipo: O TFD é o primeiro recurso a suportar conjuntamente pré-treinamento, ajuste fino de instruções, alinhamento de segurança, otimização de preferência e supervisão de raciocínio para o tibetano.
• Eficiência: Os resultados demonstram que um modelo de 8B treinado em um conjunto de dados estruturado e curado pode competir com ou superar modelos uma ordem de magnitude maiores, destacando a eficácia de dados de alta qualidade sobre a mera contagem de parâmetros.
• Reprodutibilidade: Ao liberar o TFD e os modelos Sun-Shine, os autores visam facilitar a pesquisa reprodutível e o desenvolvimento de LLMs tibetanos robustos e alinhados culturalmente.

Os autores reconhecem limitações, incluindo a subrepresentação de dialetos especializados, potenciais vieses residuais da geração assistida por LLM no TIBSTC-CoT e a falta atual de avaliação multimodal. Eles posicionam este trabalho como um passo fundamental, deixando a otimização arquitetural adicional e a exploração de estratégias de treinamento para pesquisas futuras.