Seq vs Seq: An Open Suite of Paired Encoders and Decoders

O artigo apresenta a suite de modelos Ettin, um conjunto aberto de pares de codificadores e decodificadores de última geração treinados com a mesma receita, demonstrando que arquiteturas especializadas superam modelos adaptados de um objetivo para outro em suas respectivas tarefas.

O essencial

Imagine que você está construindo dois tipos de robôs especialistas em linguagem para entender e criar textos. Até hoje, a comunidade de inteligência artificial ficou obcecada por um tipo de robô: o Decodificador (como o GPT ou o Llama). Ele é ótimo em escrever histórias, responder perguntas e criar conteúdo do zero. É o "criativo" da turma.

Por outro lado, existe o Codificador (como o BERT), que é o "analista". Ele é incrível em entender o que foi escrito, classificar sentimentos, buscar informações em bancos de dados e responder se uma frase faz sentido. Mas ele não é muito bom em criar textos longos.

O problema é que, para comparar quem é melhor em quê, os cientistas costumavam comparar robôs de tamanhos diferentes, treinados com livros diferentes e usando receitas de cozinha diferentes. Era como comparar um carro de corrida F1 com um caminhão de entregas e dizer "o caminhão é melhor porque é mais forte". Não era uma comparação justa.

O que é o Projeto ETTIN?

Os autores deste paper (da Universidade Johns Hopkins) decidiram criar uma "família gêmea" de robôs chamada ETTIN.

Pense no ETTIN como um experimento de laboratório perfeito:

1. Mesmo DNA: Eles criaram 5 pares de robôs (do menor, com 17 milhões de "cérebro", até o maior, com 1 bilhão).
2. Mesma Comida: Todos foram alimentados com exatamente os mesmos dados (livros, artigos, código da internet).
3. Mesma Educação: Todos estudaram com a mesma metodologia e durante o mesmo tempo (até 2 trilhões de palavras).

A única diferença entre os gêmeos foi a ferramenta de trabalho:

• Um gêmeo (o Codificador) foi treinado para olhar para uma frase e tentar adivinhar uma palavra que faltou (como um jogo de "complete a frase" com a resposta escondida). Isso o torna um mestre em análise e busca.
• O outro gêmeo (o Decodificador) foi treinado para olhar para o que já foi escrito e prever a próxima palavra. Isso o torna um mestre em criação e geração.

O Grande Descobrimento: "Não adianta tentar ser quem você não é"

A grande descoberta do paper é uma lição de humildade para a IA.

Muitas pessoas pensavam: "Se eu pegar um robô Decodificador (o criativo) e der mais um pouco de treinamento para ele aprender a analisar, ele vai ficar tão bom quanto o Codificador original."

A resposta do paper é um sonoro NÃO.

Eles fizeram um experimento onde pegaram o Decodificador e tentaram ensiná-lo a ser um Codificador (e vice-versa). Foi como tentar ensinar um pintor a ser um cirurgião apenas dando a ele um bisturi por 50 bilhões de palavras.

• Resultado: O robô que nasceu para analisar (Codificador) continuou sendo muito melhor em análise do que o robô que nasceu para criar, mesmo que o "criativo" fosse 3 vezes maior e tivesse estudado mais.
• A lição: A especialização importa. Um robô feito para escrever não se torna um especialista em busca apenas com um pouco de treino extra. E vice-versa.

Analogia do "Cérebro Esquerdo vs. Direito"

Imagine que você tem dois amigos:

• O Analista (Codificador): Ele é ótimo em resolver um quebra-cabeça, encontrar um erro em um contrato ou dizer se uma notícia é falsa.
• O Criativo (Decodificador): Ele é ótimo em escrever um poema, inventar uma história ou continuar uma conversa.

O paper diz: "Se você precisa encontrar um erro em um contrato, não contrate o Criativo e peça para ele 'aprender' a ser Analista. Contrate o Analista. Ele já nasceu para isso e fará o trabalho 10 vezes melhor, mesmo que o Criativo seja mais famoso e tenha mais dinheiro (parâmetros)."

Por que isso é importante?

1. Economia de Recursos: Se você precisa de um modelo para classificar textos ou fazer buscas, não precisa treinar um modelo gigante de geração de texto. Você pode usar um modelo menor e mais barato, feito especificamente para análise (Codificador), e ele será mais eficiente.
2. Justiça na Comparação: O paper provou que os modelos que eles criaram são os melhores do mundo (SOTA) para o seu tamanho, tanto para análise quanto para criação. Isso significa que a comunidade pode confiar neles para fazer pesquisas futuras.
3. Viés de Gênero: Eles também usaram esses robôs para testar preconceitos. Descobriram que, embora ambos tenham vieses, o "Analista" tende a ser um pouco mais neutro ao falar sobre gênero do que o "Criativo".

Resumo em uma frase

O paper ETTIN nos ensina que, na inteligência artificial, especialização vence generalização: é melhor ter um robô feito sob medida para a tarefa (seja criar ou analisar) do que tentar forçar um robô a fazer tudo, mesmo que ele seja enorme e tenha estudado muito.

Resumo técnico

1. O Problema

A comunidade de Modelos de Linguagem (LLMs) foca quase exclusivamente em modelos decoder-only (estilo GPT) devido à sua facilidade de uso para geração de texto. Consequentemente, os modelos encoder-only (estilo BERT), embora superiores em tarefas de classificação e recuperação (retrieval), sofreram com o estagnamento no desenvolvimento de novas arquiteturas e receitas de treinamento.

As comparações anteriores entre encoders e decoders eram limitadas porque envolviam modelos com:

• Diferentes números de parâmetros.
• Arquiteturas distintas.
• Dados de pré-treinamento diferentes.
• Técnicas de treinamento e agendamentos de aprendizado (learning schedules) variados.

Isso impedia uma comparação justa ("maçãs com maçãs") para determinar se as diferenças de desempenho eram devidas à arquitetura (encoder vs. decoder) ou apenas a diferenças na qualidade do treinamento e dos dados. Além disso, há uma tendência crescente de tentar adaptar modelos decoders para tarefas de encoder através de treinamento contínuo (cross-objective training), mas a eficácia disso em escala não foi totalmente validada.

2. Metodologia

Os autores introduzem o ETTIN, um conjunto (suite) de modelos de código aberto que fornece pares de modelos encoder-only e decoder-only treinados com a mesma receita, os mesmos dados e a mesma arquitetura base, variando apenas no objetivo de treinamento e no padrão de atenção.

• Escala de Modelos: O conjunto contém 10 modelos (5 pares) variando de 17 milhões a 1 bilhão de parâmetros.
• Dados de Treinamento: Utilizam dados abertos de alta qualidade, replicando a receita do ModernBERT (o encoder state-of-the-art atual) mas com dados públicos (mistura de DCLM, Dolma v1.7 e fontes filtradas do Olmo). O treinamento total atingiu até 2 trilhões de tokens.
• Fases de Treinamento:
  1. Pré-treinamento Base: 1,7T tokens com mistura ampla de dados.
  2. Mid-training (Extensão de Contexto): 250B tokens com dados de maior qualidade e contexto estendido (até 8k tokens).
  3. Decaimento (Decay Phase): 50B tokens com dados altamente curados (livros, Wikipedia, textos científicos) e taxa de aprendizado decrescente.
• Diferenças Arquiteturais:
  • Encoders: Usam Masked Language Modeling (MLM) com atenção bidirecional.
  • Decoders: Usam Causal Language Modeling (CLM) com atenção causal.
• Treinamento Cruzado (Cross-Objective): Os autores realizaram um experimento onde treinaram decoders com o objetivo MLM (para torná-los encoders) e encoders com o objetivo CLM (para torná-los decoders) por 50B tokens adicionais, simulando a adaptação de modelos grandes para tarefas específicas.

3. Principais Contribuições

1. Suite ETTIN Open-Source: A primeira coleção de modelos pareados (encoder/decoder) que permite uma comparação justa e rigorosa, eliminando variáveis de confusão como dados e receitas diferentes.
2. Desempenho State-of-the-Art (SOTA): Os modelos ETTIN alcançaram desempenho SOTA para seus tamanhos em ambas as categorias, superando o ModernBERT (como encoder) e modelos como Llama 3.2 e SmolLM2 (como decoder), apesar de usarem a mesma receita de treinamento.
3. Replicação Aberta do ModernBERT: Fornecem a primeira replicação de código aberto da receita do ModernBERT usando dados públicos, permitindo que a comunidade estude e melhore essa arquitetura.
4. Análise de Dados e Checkpoints: Disponibilizam todos os artefatos, incluindo a ordem exata dos dados de treinamento segmentada por checkpoint (200+ checkpoints), permitindo análises detalhadas de como os modelos aprendem ao longo do tempo.

4. Resultados Chave

Desempenho por Arquitetura

• Encoders: Exceleram consistentemente em tarefas de classificação (GLUE, MNLI) e recuperação (MTEB, MS MARCO). Um encoder de 400M parâmetros superou um decoder de 1B parâmetro em tarefas de classificação.
• Decoders: Exceleram consistentemente em tarefas generativas (completar texto, raciocínio em cadeia). A vantagem dos decoders em tarefas generativas aumentou com o tamanho do modelo.

Treinamento Cruzado (Cross-Objective)

• Adaptação Ineficiente: O treinamento contínuo de um decoder para atuar como encoder (usando MLM/MNTP) não superou um encoder nativo treinado desde o início, mesmo com 50B tokens adicionais de treinamento.
  • Exemplo: Um encoder nativo de 400M superou um decoder de 1B que foi adaptado para encoder no benchmark MNLI.
• Inversão: Da mesma forma, adaptar um encoder para atuar como decoder (usando CLM) resultou em desempenho inferior a um decoder nativo, especialmente em tarefas generativas complexas.
• Conclusão: A arquitetura nativa (encoder vs. decoder) é fundamental para o desempenho máximo em suas respectivas tarefas; o treinamento contínuo não consegue "preencher a lacuna" de forma eficiente.

Viés de Gênero (Estudo de Caso)

• Analisando o benchmark WinoGender, os autores observaram que os objetivos de treinamento influenciam o viés.
• Modelos Encoder (MLM) tendem a escolher mais pronomes neutros em comparação com decoders.
• Ambos os tipos de modelos exibem viés masculino, mas a magnitude e a distribuição variam conforme o tamanho e o objetivo, demonstrando que a arquitetura e o objetivo afetam a representação de conceitos sociais.

5. Significado e Implicações

• Validação de Arquiteturas Específicas: O trabalho confirma que não existe um "modelo único para tudo". Para tarefas de classificação e recuperação, encoders continuam sendo a escolha superior, mesmo quando comparados a decoders muito maiores.
• Fim da Ilusão de Adaptação Simples: A descoberta de que o treinamento contínuo (cross-objective) não supera modelos nativos sugere que, para aplicações críticas de classificação ou embedding, é necessário treinar modelos específicos (encoders) em vez de apenas adaptar modelos generativos grandes.
• Transparência e Reprodutibilidade: Ao liberar dados, ordens de treinamento e checkpoints, o ETTIN permite que a comunidade investigue como e quando os modelos aprendem certas capacidades, abrindo caminho para pesquisas futuras sobre eficiência de dados, viés e otimização de arquiteturas.
• Direção Futura: Para modelos menores (até 1B), a vantagem dos encoders é clara. Para modelos muito grandes (7B+), a falta de encoders nativos grandes força o uso de decoders adaptados, mas o trabalho sugere que investir no desenvolvimento de encoders nativos de grande escala poderia superar os atuais líderes de leaderboards de embeddings.

Em resumo, o artigo "Seq vs Seq" estabelece um novo padrão para a comparação de arquiteturas de linguagem, provando que a escolha entre encoder e decoder não é apenas uma questão de tamanho ou dados, mas uma decisão arquitetônica fundamental que define o limite superior de desempenho para tarefas específicas.