Resumo Técnico: Aprendizado por Reforço Semântico Fundamentado na Fonte para Geração em Idiomas-Alvo de Baixos Recursos

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) exibem disparidades significativas de desempenho entre idiomas. Enquanto idiomas de altos recursos se beneficiam de abundantes dados de pré-treinamento e instrução, idiomas de baixos recursos sofrem com geração instável, alucinações e fraca fundamentação factual. Abordagens padrão para estender LLMs a novos idiomas — como pré-treinamento contínuo seguido de Ajuste Fino Supervisionado (SFT) — dependem fortemente de texto no idioma-alvo ou supervisão específica da tarefa, o que frequentemente não está disponível para idiomas genuinamente de baixos recursos.

Na geração cruzada de idiomas, o gargalo é exacerbado pela escassez de dados paralelos de alta qualidade. Embora dados monolíngues de idiomas-fonte de altos recursos (por exemplo, notícias em chinês ou inglês) sejam abundantes, o SFT padrão não pode utilizá-los diretamente, pois exige uma referência no idioma-alvo para cada instância de treinamento. A questão central de pesquisa é: É possível converter abundantes dados monolíngues de idiomas-fonte em supervisão útil para geração em idiomas-alvo de baixos recursos sem exigir referências no idioma-alvo durante o treinamento?

2. Metodologia: Framework SG-SRL

Os autores propõem o Aprendizado por Reforço Semântico Fundamentado na Fonte (SG-SRL), um framework de "treinar–reforçar–recuperar" projetado para aproveitar dados monolíngues de idiomas-fonte para alinhamento semântico cruzado de idiomas.

2.1 Fontes de Dados

O framework utiliza duas fontes de dados distintas:

• $D_{para}$: Um pequeno corpus paralelo (pares fonte-alvo) usado para inicialização e recuperação da forma no idioma-alvo.
• $D_{src}$: Um grande corpus monolíngue de idioma-fonte usado para treinamento semântico intermediário, contendo nenhuma referência no idioma-alvo.

2.2 Procedimento de Três Estágios

1. Inicialização da Forma no Idioma-Alvo: O modelo base é ajustado finamente no pequeno corpus paralelo ($D_{para}$) por algumas épocas. Isso estabelece um gerador de "inicialização a frio" capaz de fluência básica no idioma-alvo, formato de tarefa e estilo, embora com cobertura semântica limitada.
2. RL Semântico Fundamentado na Fonte: O modelo inicializado passa por Aprendizado por Reforço (RL) no grande corpus de idioma-fonte ($D_{src}$).
   • Mecanismo de Recompensa: Uma recompensa semântica cruzada de idiomas é construída usando um reordenador multilíngue. A entrada fonte é tratada como uma consulta e a saída gerada no idioma-alvo é tratada como um candidato. O reordenador pontua a relevância semântica entre os dois.
   • Exploração de Recompensa e Salvaguardas: A otimização direta dessa recompensa de relevância leva a "exploração de recompensa baseada em verbosidade", onde o modelo gera saídas excessivamente longas para maximizar a cobertura de conceitos, degradando a fluência e o formato. Para mitigar isso, os autores empregam três salvaguardas:
     • Portão de Idioma: Um filtro rígido que garante que a saída esteja predominantemente no idioma-alvo.
     • Penalidade de Comprimento: Uma penalidade relativa ao lote que ativa quando as saídas excedem 2,5 vezes o comprimento mediano do lote.
     • Penalidade de Repetição: Uma penalidade para n-gramas repetidos de 4.
   • Otimização: A política é atualizada usando GRPO (Otimização de Política Relativa em Grupo), tratando o estágio de RL como "treinamento semântico intermediário" em vez de otimização final.
3. Recuperação da Forma no Idioma-Alvo: O checkpoint intermediário de RL, que possui forte fundamentação semântica, mas forma superficial degradada, é ajustado finamente novamente no pequeno corpus paralelo ($D_{para}$). Este estágio restaura fluência, concisão e formato de tarefa, preservando os ganhos semânticos adquiridos durante o RL.

2.3 Instanciação da Recompensa

• Reordenador Baseado em LLM: Nos experimentos principais (chinês para tailandês), um juiz gerador de sim/não (reordenador) fornece uma recompensa escalar baseada na probabilidade de uma resposta afirmativa a uma consulta de relevância.
• Embedding Baseado em Codificador: Nos experimentos em tibetano, onde um reordenador forte não está disponível, um pontuador de embedding baseado em codificador (treinado em pares tibetano-chinês) fornece uma pontuação de similaridade como recompensa.

3. Contribuições Principais

• Proposta de Framework: O SG-SRL é introduzido como um framework inovador que converte dados monolíngues de idiomas-fonte em supervisão semântica sem referência, permitindo RL em configurações de baixos recursos.
• Identificação do Trade-off Semântico-Forma: Os autores identificam que a otimização direta de recompensas orientadas à relevância induz exploração de recompensa baseada em verbosidade. Eles demonstram que, embora o checkpoint intermediário de RL sofra com fluência e controle de comprimento pobres, ele aprende com sucesso alinhamento semântico cruzado de idiomas útil, justificando o estágio de "recuperação".
• Validação Empírica:
  • Chinês para Tailandês: Usando o SmolLM3-3B, o SG-SRL supera significativamente o SFT de inicialização a frio em adequação semântica e fidelidade factual.
  • Generalização: O alinhamento semântico aprendido transfere-se para tarefas de tradução de formato longo, não apenas para o formato específico de geração de títulos usado no treinamento.
  • Adaptação a Baixos Recursos: Em um cenário tibetano sem um reordenador forte, o framework adapta-se com sucesso usando uma recompensa de embedding baseada em codificador, provando sua aplicabilidade a cenários realistas de baixos recursos.

4. Resultados Experimentais

• Tarefa Principal (Geração de Títulos Chinês-Tailandês):
  • Em um conjunto de desenvolvimento de 5 mil exemplos, o SG-SRL ficou em primeiro lugar em 995 exemplos e em segundo lugar em 2.602 exemplos contra uma referência dourada e uma linha de base SFT de inicialização a frio.
  • Em comparações pareadas, o SG-SRL venceu contra o SFT de inicialização a frio em 72,3% dos casos.
  • A melhoria foi mais pronunciada em dimensões semânticas (adequação, fidelidade factual) do que em sobreposição de nível superficial.
• Análise Semântica vs. Forma:
  • O checkpoint intermediário de RL (GATE+BATCHLEN) alcançou as maiores pontuações de alinhamento semântico (Entidade, Evento, Factual), mas produziu saídas com um comprimento médio de 531,7 caracteres, comparado a 162,1 para as referências douradas.
  • A remoção das salvaguardas (GATE-ONLY) levou a verbosidade severa (866,6 caracteres).
  • O controle agressivo de comprimento (REFLEN) reduziu o comprimento, mas degradou significativamente as pontuações semânticas, confirmando o trade-off.
• Aprendizado por Transferência: O SG-SRL mostrou desempenho superior na tradução de formato longo chinês-tailandês, mantendo alinhamento de entidade/evento e consistência factual mais altos em comparação com as linhas de base.
• Generalização para Tibetano: Usando uma recompensa baseada em embedding, o SG-SRL alcançou pontuações BLEU comparáveis, seja a âncora semântica sendo o texto fonte (chinês) ou o texto alvo (tibetano), demonstrando a flexibilidade do framework quando reordenadores fortes não estão disponíveis.

5. Significado e Afirmações

O artigo afirma que o SG-SRL estabelece um pipeline robusto para alinhar idiomas-alvo fracos usando âncoras de idiomas-fonte de altos recursos. Seu significado principal reside em:

1. Desacoplamento da Aprendizagem Semântica e de Forma: Ao separar a aprendizagem semântica fundamentada na fonte da regularização da forma no idioma-alvo, o framework neutraliza efetivamente a exploração de recompensa baseada em verbosidade inerente à otimização de relevância.
2. RL Sem Referência: Demonstra que dados monolíngues de altos recursos podem servir como um sinal de supervisão escalável para geração em baixos recursos sem exigir dados paralelos para a fase de RL.
3. Aplicabilidade Prática: O framework é adaptável a cenários onde reordenadores multilíngues fortes não existem, utilizando modelos de embedding baseados em codificador como substituto prático para o sinal de recompensa.

Os autores concluem que essa abordagem abre caminho para uma expansão mais equitativa de modelos multilíngues, embora reconheçam que o framework atualmente depende da disponibilidade de alguma forma de pontuador de relevância cruzada de idiomas (seja um reordenador ou um modelo de embedding específico de domínio), o que permanece uma restrição para os idiomas mais limitados em recursos.