🤖 AI

Think in English, Answer in Korean: Efficient Adaptation of Multilingual Tool-Using Agents

Este artigo apresenta o LuckyStar 111B, um modelo de raciocínio híbrido desenvolvido pela Cohere e pela LG CNS que adapta eficientemente um modelo base multilíngue pós-treinado para agentes empresariais coreano-inglês por meio de estratégias específicas de ajuste fino e quantização, aumentando significativamente as capacidades de uso de ferramentas, como chamada de função e NL2SQL, ao mesmo tempo em que mantém a qualidade de seguimento de instruções gerais sob restrições de memória.

Autores originais: Utsav Garg, Sungjin Hong, Jason Jung, Justin Lee, Shaan Desai, Joon Hee Kim, Anirudh Shrinivason, Edmond Wen, Susie Park

Publicado 2026-07-01

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Utsav Garg, Sungjin Hong, Jason Jung, Justin Lee, Shaan Desai, Joon Hee Kim, Anirudh Shrinivason, Edmond Wen, Susie Park

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você tem um assistente multilíngue brilhante chamado LuckyStar. Este assistente é enorme (111 bilhões de "células cerebrais" ou parâmetros) e trabalha para grandes empresas. O desafio era que as empresas precisavam que este assistente fosse inteligente o suficiente para resolver problemas matemáticos complexos, escrever código de computador e conversar com bancos de dados (como SQL), mas também precisavam que ele fosse rápido, barato de operar e capaz de falar tanto em coreano quanto em inglês fluentemente sem se confundir.

Aqui está a história de como os pesquisadores construíram e ajustaram o LuckyStar, explicada de forma simples:

1. O Ponto de Partida: Uma Base Inteligente

Em vez de construir um novo cérebro do zero (o que é como ensinar um bebê a ler do zero), eles começaram com um modelo muito inteligente e já treinado chamado Command A. Pense nisso como contratar um funcionário sênior que já sabe seguir instruções perfeitamente tanto em coreano quanto em inglês. Eles só precisavam ensinar a ele algumas novas habilidades profissionais específicas.

2. O Truque do "Interruptor": Raciocínio Híbrido

A maior inovação foi dar ao assistente um interruptor mental controlado por um "preâmbulo" simples (uma instrução curta no início de uma conversa).

Modo A (O Velocista): Se você fizer uma pergunta simples como "Qual é o tempo?", o interruptor diz ao modelo para ser rápido e conciso.
Modo B (O Detetive): Se você fizer um problema matemático difícil ou uma consulta de banco de dados complexa, o interruptor diz ao modelo para "pensar em voz alta", realizando muitas etapas para resolver o problema antes de dar a resposta.
Por que isso importa: Eles não precisaram de dois robôs diferentes. Um único robô podia fazer ambos os trabalhos perfeitamente apenas mudando sua "mentalidade" com base no comando (prompt).

3. O Enigma da Linguagem: Pensar em Inglês, Falar em Coreano

Durante o treinamento, eles notaram uma falha estranha. Quando perguntavam ao modelo uma questão em coreano, ele frequentemente começava a pensar em coreano, mas acabava por acidente terminando a resposta em inglês. Era como um estudante que estuda em francês, mas escreve sua redação final em espanhol.

Para corrigir isso, eles usaram uma estratégia inteligente:

Eles ensinaram o modelo a pensar (fazer o raciocínio complexo) em inglês, porque os dados de treinamento para matemática e lógica eram majoritariamente em inglês.
Mas eles puniam estritamente o modelo se ele não falasse a resposta final na língua do usuário (coreano).
O Resultado: O modelo aprendeu a fazer seu "trabalho de detetive" interno em inglês, mas sempre entregava o relatório final no idioma solicitado pelo usuário.

4. O Treinamento de "Ferramenta": Aprendendo a Usar Bancos de Dados

Para tornar o assistente bom em tarefas "Agênticas" (usar ferramentas como bancos de dados SQL), eles tiveram que ser muito cuidadosos.

O Problema do Início a Frio (Cold Start): No início, o modelo era terrível em escrever consultas de banco de dados. Era como tentar ensinar alguém a dirigir um carro de corrida quando a pessoa nunca sequer segurou um volante.
A Solução: Eles usaram um método de "tentar e rejeitar". Eles geraram milhares de respostas possíveis, verificaram quais delas realmente funcionavam (eram "verificáveis") e alimentaram apenas as corretas de volta ao modelo para que ele aprendesse. Isso construiu uma base sólida antes de iniciarem o treinamento avançado.

5. O Problema da "Tagarelice": Aprendendo a Ficar Quieto

Depois de ensinar o modelo a ser um ótimo detetive, ele ficou um pouco tagarela demais. Ele dava explicações longas e prolixas mesmo quando você queria apenas um "Sim" ou "Não".

A Correção: Eles usaram uma técnica chamada Alinhamento de Preferência. Eles mostraram ao modelo exemplos de "Respostas boas e concisas" versus "Respostas ruins e longas" e disseram a ele: "Preferimos as curtas". Isso ajustou o modelo para ser útil sem ser irritante.

6. O Truque de Hardware: Colocando uma Baleia em uma Banheira

O modelo é massivo (111 bilhões de parâmetros). Normalmente, você precisa de um supercomputador enorme e caro para operá-lo.

O Truque: Eles usaram quantização de 4 bits. Imagine pegar uma foto de alta resolução e comprimi-la tanto que o tamanho do arquivo fica metade do tamanho, mas você ainda consegue reconhecer a imagem perfeitamente.
O Resultado: Isso permitiu que o enorme modelo de 111 bilhões de parâmetros rodasse em uma única placa de vídeo padrão (uma GPU H100) sem perder muita qualidade. Isso torna muito mais barato e fácil para as empresas realmente utilizarem.

Resumo dos Resultados

O modelo final, LuckyStar 111B, é um agente prático e bilíngue (coreano/inglês) que:

Resolve problemas de matemática e lógica melhor do que o modelo base original.
Pode conversar com bancos de dados e usar ferramentas de forma eficaz.
Fala a língua do usuário corretamente, mesmo quando pensa em outra.
Pode rodar em um único servidor, economizando dinheiro.

O artigo conclui que, para uso empresarial, você nem sempre precisa de um novo modelo perfeito do zero. Em vez disso, você pode pegar um modelo existente inteligente, dar a ele um "interruptor" para diferentes tarefas, ensiná-lo a usar ferramentas cuidadosamente e comprimi-lo para rodar com eficiência.

Resumo Técnico: Adaptação Eficiente de Agentes Multilíngues para Uso de Ferramentas (LuckyStar 111B)

1. Declaração do Problema

Assistentes empresariais operando em ambientes multilíngues enfrentam um conjunto complexo de restrições: eles devem raciocinar sobre dados privados, executar chamadas de ferramentas (como SQL ou recuperação de dados) e aderir a orçamentos rigorosos de memória e de serviço. Um desafio específico surge em ambientes bilíngues Coreano-Inglês, onde um agente deve processar uma solicitação em coreano, raciocinar sobre esquemas ou documentações predominantemente em inglês, executar ferramentas e retornar uma resposta em coreano com resultados numericamente fundamentados.

Abordagens existentes frequentemente exigem o treinamento de modelos do zero ou a manutenção de modelos separados para diferentes cargas de trabalho (por exemplo, raciocínio vs. interação concisa), o que é custoso e ineficiente. Além disso, adaptar modelos multilíngues pós-treinados para fluxos de trabalho de agentes verificáveis frequentemente leva a modos de falha como o desvio de linguagem (language drift — prompts em coreano resultando em respostas em inglês) e verbosidade após a otimização do raciocínio. O objetivo é adaptar um modelo multilíngue de grande escala, pós-treinado, para lidar com raciocínio híbrido e uso de ferramentas de forma eficiente sob implantação com restrição de memória (por exemplo, serviço em uma única GPU).

2. Metodologia

Os autores apresentam o LuckyStar 111B, um modelo bilíngue de 111 bilhões de parâmetros adaptado a partir do modelo Command A da Cohere, que é totalmente pós-treinado. Em vez de realizar o pré-treinamento do zero, a equipe empregou um pipeline de adaptação em três estágios para adicionar capacidades de raciocínio e uso de ferramentas, preservando a qualidade geral de seguimento de instruções.

2.1 Pipeline de Adaptação Híbrida

A escolha central de design é o raciocínio híbrido via condicionamento de preâmbulo. O modelo suporta dois modos de operação usando os mesmos pesos:

Modo de Raciocínio: Acionado por um preâmbulo específico, induzindo um comportamento passo a passo para matemática, uso de ferramentas e Natural Language to SQL (NL2SQL).
Modo Não-Raciocínio: Acionado por um preâmbulo diferente, induzindo respostas concisas para interações padrão do usuário.

O pipeline de treinamento consiste em:

Ajuste Fino Supervisionado Híbrido (SFT): O conjunto de dados compreende ~80% de exemplos de raciocínio (matemática, código, uso de ferramentas) e ~20% de exemplos de não-raciocínio para preservar o comportamento conciso. Para o raciocínio, o modelo é treinado para gerar etapas intermediárias antes da resposta final.
Aprendizado por Reforço com Recompensas Verificáveis (RLVR): Este estágio otimiza a correção em tarefas de múltiplas etapas.
- Curadoria de Dados: Para NL2SQL, a equipe selecionou 100.000 pares prompt-query verificáveis a partir de Spider, BIRD e SynSQL, filtrando consultas executáveis com saídas entre 1 e 500 tokens.
- Solução de Cold-Start: Como o modelo base possuía menos de 1% de precisão no conjunto curado de NL2SQL, a equipe utilizou amostragem de rejeição best-of-N com modelos internos e abertos fortes para gerar traços iniciais de alta qualidade para o bootstrapping do SFT.
- Funções de Recompensa: Recompensas binárias são atribuídas com base em verificadores baseados em regras ou um juiz LLM (Command A) para correção.
Alinhamento de Preferência Offline (DPO): Para neutralizar a verbosidade introduzida pelo RLVR, a equipe aplicou a Otimização de Preferência Direta (DPO) com uma taxa de aprendizado baixa. Este estágio utiliza pares de preferência onde respostas diretas são "escolhidas" e saídas verbosas são "rejeitadas", refinando o comportamento de chatbot sem degradar as capacidades de raciocínio.

2.2 Estratégia de Raciocínio Multilíngue

Experimentos iniciais revelaram que prompts em coreano frequentemente derivavam para traços de raciocínio e respostas finais em inglês, apesar de o prompt estar em coreano.

Tentativa de Tradução: Traduzir os traços de raciocínio do inglês para o coreano trouxe melhorias mínimas, provavelmente devido à degradação da naturalidade e dos sinais de aprendizado.
Estratégia de Linguagem Mista: A equipe adotou uma estratégia onde o modelo raciocina em inglês, mas produz a resposta final no idioma do usuário (coreano).
Penalidade de Consistência de Linguagem: Durante o RLVR, uma penalidade ( $r_{penalty} = 0.5$ ) é aplicada se a linguagem da resposta final não coincidir com a linguagem do prompt, enquanto o raciocínio intermediário permanece em inglês. Isso reduziu significativamente a taxa de incompatibilidade de linguagem de 12,2% (SFT) para 0,8% (RLVR final).

2.3 Implantação Eficiente

Para lidar com restrições de memória, o modelo foi quantizado de FP8 para pesos de 4 bits. Isso reduziu a pegada de memória em aproximadamente 50%, permitindo que o modelo de 111 bilhões de parâmetros rode em uma única GPU H100 de 80GB.

3. Resultados Principais

O modelo adaptado LuckyStar 111B demonstra melhorias significativas no uso de ferramentas e raciocínio, mantendo a qualidade multilíngue geral.

Raciocínio e Uso de Ferramentas:
- Raciocínio Matemático: Melhora na precisão Pass@1 no AIME 2024 (69,3 vs. 10,0 do Command A) e MATH 500 (93,6 vs. 76,2).
- Chamada de Função (Function Calling): Melhora no BFCL v3 (73,7 vs. 13,3).
- NL2SQL Empresarial: Melhorou de 7,3 para 38,0 em um benchmark interno de 150 questões.
- Avaliação Agêntica LG: Melhorou de 2,67 para 4,85 em um benchmark de negócios/finanças de 60 questões que requer recuperação e SQL.
- O modelo quantizado de 4 bits manteve um desempenho comparável ao modelo FP8 nestes benchmarks.
Qualidade Multilíngue Geral:
- O modelo preservou fortes capacidades de seguimento de instruções. Em benchmarks de coreano (KMMLU, ARC-C, IFEval, MT-Bench), alcançou pontuações comparáveis ou superiores a outros modelos proprietários fortes (ex: GPT-4o, Claude 3.7 Sonnet) e ao modelo base Command A.
- O desempenho em inglês permaneceu robusto, com pontuações no MMLU (82,7) e ARC-C (93,8) igualando ou superando o modelo base.

4. Significância e Alegações

O artigo afirma fornecer uma receita prática para adaptar modelos pós-treinados multilíngues para fluxos de trabalho agênticos verificáveis sob implantação com restrição de memória.

Raciocínio Híbrido: O uso de condicionamento de preâmbulo permite que um único modelo alterne entre modos concisos e de raciocínio, evitando a necessidade de modelos separados para diferentes cargas de trabalho empresariais.
Análise de Modos de Falha: Os autores identificam e abordam três modos críticos de falha na escala de sistemas agênticos:
1. Cold-Start de NL2SQL: Resolvido via SFT por amostragem de rejeição para dar o bootstrap no RL.
2. Desvio de Linguagem (Language Drift): Resolvido via recompensas de consistência de linguagem durante o RLVR.
3. Verbosidade: Resolvido via alinhamento de preferência offline (DPO).
Viabilidade de Implantação: O trabalho demonstra que um modelo de 111 bilhões de parâmetros pode ser implantado efetivamente em uma única GPU H100 via quantização de 4 bits com perda mínima de qualidade nos benchmarks, tornando capacidades agênticas avançadas acessíveis em ambientes empresariais com hardware limitado.
Separação de Preocupações: Os resultados sugerem que separar a linguagem de raciocínio interno (inglês) da linguagem de resposta voltada ao usuário (coreano) é uma estratégia prática, embora imperfeita, para agentes multilíngues, embora o raciocínio na língua nativa continue sendo um alvo para trabalhos futuros.

Os autores enfatizam que, embora os benchmarks públicos forneçam comparabilidade, as avaliações empresariais internas são cruciais para capturar fluxos de trabalho específicos, restrições de esquema e requisitos de precisão numérica necessários para a implantação no mundo real.