Constructing Synthetic Instruction Datasets for Improving Reasoning in Domain-Specific LLMs: A Case Study in the Japanese Financial Domain

Este estudo propõe um método geral para construir conjuntos de dados sintéticos de alta qualidade com raciocínio passo a passo a partir de vocabulário específico, demonstrando sua eficácia ao melhorar o desempenho de modelos de linguagem no domínio financeiro japonês através de um dataset de 9,5 bilhões de tokens.

O essencial

Imagine que você tem um estudante universitário muito inteligente, que leu milhões de livros e sabe de tudo um pouco. Esse é o nosso Modelo de Linguagem (LLM). Ele é genial, mas se você o colocar para trabalhar em um banco japonês, ele pode se perder. Ele conhece o conceito de "juros", mas não sabe as regras específicas da lei bancária do Japão, nem como um consultor financeiro local explicaria isso para um cliente.

Este artigo conta a história de como os pesquisadores da Nomura Research Institute ensinaram esse "estudante genial" a se tornar um especialista financeiro japonês, e o segredo não foi apenas dar mais livros para ele ler, mas sim ensinar a forma de pensar.

Aqui está a explicação do método deles, usando analogias do dia a dia:

1. O Problema: Saber vs. Pensar

Antes, para ensinar um computador sobre finanças, os pesquisadores apenas jogavam milhares de documentos financeiros na "memória" dele (como dar uma pilha de jornais para o estudante ler). Isso ajudava o computador a saber fatos, mas não a raciocinar sobre problemas complexos, como prever fraudes ou analisar tendências de mercado.

O novo desafio era: como fazer o computador não apenas "saber" a resposta, mas pensar passo a passo antes de responder? É a diferença entre alguém que apenas decora a fórmula de matemática e alguém que sabe como chegar à fórmula.

2. A Solução: A Fábrica de Perguntas Inteligentes

Os autores criaram uma "fábrica" automática para gerar dados de treinamento. Em vez de escreverem perguntas manualmente (o que levaria anos), eles usaram uma IA mais inteligente para criar milhões de exemplos.

Pense nisso como um chef de cozinha (a IA) que recebe uma lista de ingredientes (palavras-chave como "seguro", "bolsa de valores", "imposto").

• Passo 1 (Seleção): Eles escolheram os ingredientes certos para o prato japonês (o domínio financeiro).
• Passo 2 (Criação): O chef criou milhões de receitas (perguntas) diferentes. Algumas eram simples, outras eram desafios complexos de lógica.
• Passo 3 (O Segredo do Raciocínio): Aqui está a mágica. Para cada receita, o chef não apenas escreveu a resposta final. Ele escreveu um diário de bordo (o "Chain-of-Thought" ou Raciocínio em Cadeia).
  • Exemplo: Em vez de apenas dizer "A resposta é X", o modelo aprendeu a escrever: "Primeiro, olhe para a regra A. Depois, considere o cenário B. Isso nos leva à conclusão C. Portanto, a resposta é X."
• Passo 4 (Filtro de Qualidade): Eles usaram um "inspetor de qualidade" (outra IA) para garantir que essas receitas não estavam estragadas e que o raciocínio fazia sentido.

O resultado foi um livro de receitas gigante de 9,5 bilhões de palavras (tokens), cheio de exemplos de como pensar sobre finanças no Japão.

3. O Treinamento: Praticando com o Mestre

Depois de criar esse livro de receitas, eles ensinaram dois modelos diferentes:

1. Aprendizado Contínuo (CPT): Primeiro, deram ao estudante apenas os documentos financeiros brutos para ele se familiarizar com o vocabulário (como ler os jornais).
2. Ajuste Fino (SFT): Depois, usaram o livro de receitas com os "diários de bordo" para ensinar o modelo a raciocinar.

O Resultado:
Os modelos treinados com esse método superaram os modelos oficiais que já existiam. Eles não só sabiam mais sobre finanças, mas conseguiam resolver problemas complexos com muito mais precisão. Foi como transformar um estudante que apenas decora fatos em um consultor financeiro sênior que sabe analisar situações.

4. A Descoberta Curiosa: Mais Pensamento é Sempre Melhor?

Uma parte interessante do estudo foi testar: "E se obrigarmos o modelo a pensar mais tempo antes de responder?"

Eles forçaram o modelo a escrever raciocínios de tamanhos diferentes (curtos, médios, longos).

• A Descoberta: Pense nisso como um atleta. Correr um pouco mais ajuda a melhorar a performance. Mas, se você forçar o atleta a correr demais (mais de 1024 "passos" de pensamento), ele começa a cansar e a dar voltas em círculos.
• O Limite: Eles descobriram que, após certo ponto, forçar o modelo a pensar mais não ajuda; pelo contrário, ele começa a repetir a mesma conclusão ou a "travar" tentando atingir o número de palavras exigido. É como se o modelo dissesse: "Ok, já cheguei à conclusão, mas como você mandou eu pensar mais, vou ficar repetindo 'a resposta é D' até ficar cansado".

Resumo Final

Este trabalho mostra que, para ensinar inteligência artificial em áreas especializadas (como finanças ou direito), não basta apenas dar mais informações. É preciso ensinar como pensar.

Eles criaram um método que pode ser usado em qualquer área (medicina, engenharia, etc.): pegar os tópicos principais, gerar exemplos com "passo a passo" do raciocínio e filtrar o que é bom. O resultado foi um modelo muito mais inteligente e útil para o mercado financeiro japonês, e a lição é que pensar um pouco mais ajuda, mas pensar demais pode atrapalhar.

Eles agora disponibilizaram esses dados e modelos de graça para que outros pesquisadores possam usar essa "fábrica de inteligência" para criar especialistas em outras áreas.

Resumo técnico

Resumo Técnico: Construção de Dados Sintéticos para LLMs no Domínio Financeiro Japonês

1. Problema e Motivação

A adaptação de Grandes Modelos de Linguagem (LLMs) a domínios de alta especialização, como finanças e direito, enfrenta um desafio duplo: adquirir conhecimento de domínio e desenvolver capacidade de raciocínio lógico.

• Limitações Atuais: Tradicionalmente, a adaptação focava em Continued Pre-Training (CPT) para adquirir conhecimento, mas isso não garante habilidades de raciocínio avançado (ex: análise de eventos complexos, previsão de lucros).
• Gap na Pesquisa: Embora existam conjuntos de dados gerais com rastros de raciocínio Chain-of-Thought (CoT), há uma escassez de dados em japonês que sejam simultaneamente específicos de um domínio (finanças) e incluam rastros de raciocínio de alta qualidade.
• Objetivo: Desenvolver um método geral para construir dados sintéticos de instrução de alta qualidade, partindo de vocabulário específico do domínio, para melhorar o raciocínio em LLMs especializados.

2. Metodologia: Pipeline de Construção de Dados

Os autores propõem um pipeline automatizado e extensível para gerar um conjunto de dados sintéticos. O processo segue as etapas ilustradas na Figura 1 do artigo:

1. Seleção de Palavras-Tópico:
   • Seleção de palavras-chave seminais (sementes) cobrindo setores industriais, produtos financeiros e tecnologias.
   • Para evitar a "esquecimento catastrófico" de capacidades gerais, misturam-se palavras de domínios não-alvo e geram-se sub-tópicos relacionados.
2. Geração de Instruções:
   • O LLM gera prompts de usuário baseados nos sub-tópicos, cobrindo quatro tipos de tarefas: perguntas abertas, raciocínio matemático, escrita criativa e questões de múltipla escolha.
3. Expansão e Modificação:
   • As instruções são expandidas e modificadas para aumentar a diversidade: adição de contexto, mudança de formato (ex: tabelas, listas), elaboração para casos específicos e reescrita para tópicos relacionados.
4. Filtragem e Deduplicação:
   • Aplicação de filtros baseados em n-grams e contagem de palavras (usando MeCab para segmentação japonesa).
   • Deduplicação fuzzy utilizando MinHash e LSH (semelhante ao Swallow Corpus v2).
5. Geração de Conversas Multi-turno:
   • Criação de diálogos interativos onde o modelo alterna entre prompts do usuário e respostas com rastros de raciocínio (CoT).
6. Filtragem de Qualidade (LLM-as-a-Judge):
   • Um modelo LLM (gpt-oss-120b) atua como juiz para avaliar a precisão do conhecimento de domínio e a lógica do raciocínio, rejeitando dados de baixa qualidade com base em critérios de pontuação.
7. Integração de Dados Públicos:
   • Incorporação de conjuntos de dados públicos para matemática (NuminaMath-CoT) e seguimento de instruções (smol-constraints), processados da mesma forma.

Escala do Dataset Final:

• Volume: ~1,44 milhão de amostras.
• Tamanho: Aproximadamente 9,5 bilhões de tokens.
• Foco: Domínio financeiro japonês com rastros de raciocínio (CoT).

3. Experimentos e Treinamento

• Modelos Base: Qwen3-14B-Base e gpt-oss-20b.
• Fase 1 (CPT): Pré-treinamento contínuo em um corpus financeiro japonês filtrado (derivado de Common Crawl).
• Fase 2 (SFT): Supervised Fine-Tuning (Ajuste Fino Supervisionado) utilizando o dataset sintético construído.
• Configuração: Treinamento em instância AWS com 8 GPUs NVIDIA H200, por 2 épocas (~240 horas).

4. Resultados e Avaliação

Os modelos foram avaliados em dois benchmarks financeiros japoneses:

1. japanese-lm-fin-harness: Foca em conhecimento (análise de sentimentos de relatórios, exames de certificação financeira).
2. pfmt-bench-fin-ja: Foca em diálogo e tarefas interativas (extração de informações, geração de ideias).

Principais Achados:

• Desempenho Superior: Os modelos ajustados com o dataset sintético (CPT + SFT) superaram os modelos de instrução oficiais em ambos os benchmarks.
  • O gpt-oss-20b com CPT+SFT superou o modelo oficial em todas as subtarefas.
  • O Qwen3-14B mostrou tendências similares, com melhorias significativas.
• Eficácia do CoT: A inferência com rastros de raciocínio melhorou o desempenho em ~4,5–5,7 pontos no japanese-lm-fin-harness e ~0,4 pontos no pfmt-bench-fin-ja em comparação com a inferência sem raciocínio.
• Análise de Comprimento do Rastro de Raciocínio:
  • Ponto de Retorno Decrescente: O desempenho melhorou ao aumentar o comprimento do rastro de raciocínio até 1024 tokens.
  • Limitação: Acima de 2048 tokens, não houve melhoria significativa (platô).
  • Fenômenos Observados:
    • Terminação Antecipada: O modelo tendia a concluir prematuramente mesmo com instruções para continuar ("Wait").
    • Loops de Saída: Em comprimentos muito longos (≥4096 tokens), o modelo entrava em loops repetindo conclusões sem realizar raciocínio substancial.
    • Impacto da Força: Forçar a terminação do rastro artificialmente causou degradação de desempenho em vários pontos, sugerindo que o método de terminação natural é crucial.

5. Contribuições Principais

1. Metodologia Geral: Estabelecimento de um pipeline para síntese e filtragem de dados de instrução com rastros de raciocínio, partindo de palavras-chave de domínio, aplicável a qualquer setor (não apenas finanças).
2. Dataset em Escala: Criação de um dataset massivo (~9,5B tokens) específico para o domínio financeiro japonês com CoT, preenchendo uma lacuna crítica na literatura.
3. Validação Empírica: Demonstração de que a combinação de injeção de conhecimento (CPT) e aquisição de raciocínio (SFT com CoT) maximiza o desempenho em tarefas de domínio específico.
4. Insights sobre CoT: Análise detalhada da relação entre o comprimento do rastro de raciocínio e o desempenho, identificando limites práticos e comportamentos indesejados em tarefas de domínio especializado.

6. Significância e Impacto

Este trabalho fornece um framework reprodutível para a construção de LLMs especializados em domínios de alta complexidade. Ao demonstrar que dados sintéticos gerados a partir de vocabulário de domínio podem superar modelos pré-treinados oficialmente, o estudo oferece um caminho viável para setores como direito, medicina e engenharia, onde dados rotulados são escassos.

Além disso, a descoberta de que rastros de raciocínio muito longos podem ser contraproducentes em tarefas específicas oferece diretrizes importantes para o prompt engineering e o treinamento de modelos de raciocínio, evitando desperdício de recursos computacionais e degradação de qualidade.

Disponibilidade: Os modelos e datasets foram disponibilizados como código aberto no HuggingFace.