MoganBert-TR: A Turkish Encoder Foundation Model Trained from Scratch with a CLM-to-MLM Curriculum
Este artigo apresenta o MoganBert-TR, um modelo base de codificador turco de 149 milhões de parâmetros treinado do zero usando um novo currículo CLM-para-MLM e escalonamento de contexto longo especializado, que alcança o estado da arte em benchmarks de PLN turco e produz um modelo de embedding altamente eficiente que atinge 99,5% da pontuação de seu professor de 7,57 bilhões de parâmetros.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No vasto cenário da inteligência artificial, existem duas formas principais pelas quais os computadores aprendem a compreender a linguagem humana. Uma abordagem, frequentemente presente nas notícias, envolve modelos que geram texto, escrevendo histórias ou respondendo a perguntas do zero. A outra, mais silenciosa, mas igualmente vital, utiliza modelos que atuam como poderosos mecanismos de busca e classificadores. Esses modelos "encoder" leem uma frase e a transformam em um resumo matemático compacto, permitindo que computadores comparem ideias, encontrem documentos relevantes ou classifiquem informações com uma velocidade incrível. Durante anos, o método padrão para ensinar esses modelos tem sido um tipo específico de jogo de adivinhação: o computador vê uma frase com algumas palavras ocultas e deve prever as partes ausentes. Este método, conhecido como modelagem de linguagem mascarada, funcionou bem, mas os pesquisadores há muito se perguntavam se haveria uma maneira melhor de ensinar à máquina a estrutura de uma língua, especialmente para línguas que são complexas e ricas em formas de palavras, como o turco.
Uma equipe de pesquisadores construiu agora um novo fundamento para a compreensão da língua turca, demonstrando que a maneira como um modelo é ensinado importa tanto quanto a arquitetura sobre a qual ele é construído. Eles criaram um modelo chamado MoganBert-TR, treinado do zero em uma coleção massiva de textos em turco. Em vez de aderir ao tradicional jogo de adivinhação, eles introduziram um currículo de aprendizagem de dois estágios. Primeiro, o modelo aprendeu a ler texto da esquerda para a direita, prevendo a próxima palavra em uma sequência, tal como um humano lendo um livro. Somente após esta fase inicial é que eles mudaram para o método tradicional de esconder palavras e pedir ao modelo para preenchê-las. Esta mudança na estratégia de ensino, combinada com um conjunto de dados cuidadosamente limpo e uma nova forma de lidar com frases longas, resultou em um modelo que entende o turco melhor do que as versões anteriores, particularmente quando se trata de encontrar informações relevantes em grandes bases de dados.
Os pesquisadores começaram reunindo uma quantidade massiva de texto da internet, incluindo páginas web recentes e arquivos antigos, mas não simplesmente despejaram esses dados no sistema de treinamento. Eles construíram um pipeline sofisticado para filtrar conteúdo de baixa qualidade, como spam ou anúncios repetitivos, e para garantir que o texto fosse genuinamente útil. Como não existia uma ferramenta existente para julgar automaticamente a qualidade do texto em turco, eles treinaram um modelo menor e especializado para atuar como um professor, que então ensinou um sistema mais rápido a fazer os mesmos julgamentos de qualidade. Isso permitiu que eles processassem milhões de documentos de forma eficiente, mantendo apenas o material de alta qualidade. Eles também criaram um novo dicionário para o modelo, um que decompõe as palavras turcas em pedaços menores de forma mais eficiente do que tentativas anteriores, o que é crucial porque as palavras em turco podem mudar de forma significamente dependendo do seu papel em uma frase.
O cerne da descoberta deles reside na ordem das operações durante o treinamento. Eles testaram se começar com o método de previsão da esquerda para a direita antes de mudar para o método de ocultação de palavras fazia diferença. Em um experimento controlado usando a mesma quantidade de poder computacional e os mesmos dados, a nova abordagem de dois estágios superou vastamente o método tradicional quando se tratava de recuperar informações. Embora ambos os métodos tenham performado de forma semelhante em tarefas simples de classificação, a nova abordagem foi quase quatro vezes melhor em encontrar documentos relevantes em um teste de busca. Os pesquisadores descobriram que o método tradicional causava o colapso das representações internas do modelo em uma forma estreita e pouco útil, onde todos os significados pareciam muito semelhantes. O novo currículo evitou esse colapso, permitindo que o modelo mantivesse uma visão mais ampla e distinta do significado da linguagem.
Para refinar ainda mais o modelo, os pesquisadores experimentaram como o computador aprende durante as fases finais do treinamento. Eles dividiram o processo em dois caminhos: um onde o modelo continuava a aprender com frases curtas, e outro onde aprendia com frases muito longas. Ao comparar os resultados desses dois caminhos, descobriram que terminar o treinamento com frases curtas realmente melhorou o desempenho geral do modelo mais do que terminar com as longas. Esta descoberta foi surpreendente, pois assume-se frequentemente que contextos longos são melhores. Eles também testaram uma técnica chamada "model soup", onde a média dos pesos de diferentes modelos treinados é combinada, esperando obter o melhor de ambos os mundos. No entanto, o seu método simples de ramificação, que custou apenas uma fração mínima a mais para ser executado, produziu um resultado melhor do que a complexa técnica de média.
O produto final, MoganBert-TR, alcançou a pontuação mais alta entre os modelos turcos baseados na arquitetura moderna utilizada neste estudo. Teve um desempenho excepcional em tarefas envolvendo a recuperação de código, encontrando os trechos corretos de código de programação a partir de descrições em linguagem natural, uma tarefa na qual superou significativamente modelos mais antigos. Este sucesso foi atribuído à combinação do seu novo dicionário, que preserva o espaçamento e a estrutura do código, e à inclusão deliberada de uma grande quantidade de texto de programação nos dados de treinamento. A equipe também criou um modelo companheiro projetado especificamente para criar resumos de texto amigáveis à busca. Ao ensinar este modelo menor a imitar um professor muito maior e mais poderoso, alcançaram um resultado que era quase tão bom quanto o gigante professor, mas que exigia cinquenta e uma vezes menos poder computacional para rodar.
O trabalho destaca que, para línguas como o turco, simplesmente atualizar a estrutura de um modelo não é suficiente; o próprio método de treinamento deve ser repensado. Os pesquisadores mostraram que um currículo de dois estágios, começando com a previsão sequencial e movendo-se para a ocultação de palavras, cria uma compreensão mais robusta da língua. Eles também demonstraram que as fases finais do treinamento são um espaço de design crítico onde pequenas mudanças, como o comprimento do texto sendo processado, podem ter um impacto mensurável no desempenho. Embora o modelo ainda possua algumas fraquezas em áreas específicas, como a compreensão da estrutura de frases em certos testes gramaticais, ele representa um passo significativo à frente. A equipe disponibilizou o seu modelo, o dicionário e o código usado para construí-lo ao público, permitindo que outros construam sobre este fundamento para a tecnologia da língua turca.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.