Seq vs Seq: An Open Suite of Paired Encoders and Decoders

El artículo presenta la suite de modelos Ettin, un conjunto de pares de codificadores y decodificadores entrenados con la misma receta que establecen nuevos estándares en sus respectivas categorías y demuestran que adaptar un modelo al objetivo inverso es inferior a utilizar arquitecturas nativas para tareas específicas.

Lo esencial

¡Claro que sí! Imagina que el mundo de la Inteligencia Artificial (IA) es como un gran taller de construcción de robots. Durante años, los ingenieros se han dividido en dos bandos muy distintos:

1. Los "Escritores" (Decodificadores): Son robots expertos en crear historias, escribir poemas y generar texto palabra por palabra. Son como novelistas geniales.
2. Los "Lectores" (Codificadores): Son robots expertos en entender lo que leen, clasificar documentos y buscar información específica. Son como bibliotecarios o detectives muy rápidos.

El problema es que, en los últimos años, todos se obsesionaron con los Escritores. Se hicieron más grandes, más inteligentes y más famosos. Los Lectores se quedaron un poco olvidados, usando recetas de cocina de hace 10 años, mientras los Escritores cocinaban con ingredientes de lujo.

¿Qué hizo este estudio? (La "Suite ETTIN")

Los autores de este paper (un equipo de la Universidad Johns Hopkins) dijeron: "¡Espera un momento! No podemos comparar a un Escritor moderno con un Lector antiguo. Eso no es justo".

Así que decidieron construir un taller de robots gemelos. Crearon una familia de modelos llamada ETTIN (nombrada así por un gigante nórdico de dos cabezas, ¡una cabeza para leer y otra para escribir!).

La gran innovación:
Crearon pares de robots (uno lector y uno escritor) que son exactamente iguales en todo, excepto en su "cerebro" principal:

• Tienen el mismo tamaño (desde muy pequeños hasta gigantes).
• Comen exactamente la misma comida (los mismos datos de entrenamiento).
• Siguen la misma rutina diaria (el mismo método de entrenamiento).
• Solo cambian su objetivo: uno aprende a predecir la siguiente palabra (Escritor) y el otro a adivinar palabras ocultas en medio de una frase (Lector).

Esto es como tener dos gemelos idénticos: uno se entrena para ser un chef y el otro para ser un crítico gastronómico, pero ambos usan los mismos ingredientes y la misma cocina.

¿Qué descubrieron? (Las conclusiones)

Al poner a estos gemelos a trabajar, descubrieron cosas fascinantes:

1. La especialización es real (y no se puede engañar)

• Si quieres clasificar un correo como "spam" o "no spam", o buscar un documento en una biblioteca gigante, el Lector gana por goleada. Es como un detective que encuentra la aguja en el pajar en segundos.
• Si quieres escribir un cuento o continuar una historia, el Escritor es el rey. Es como un novelista que no se queda sin ideas.

2. El mito de "convertir" a uno en el otro
Mucha gente pensaba: "Si tomo a un Escritor gigante y le doy un poco de entrenamiento extra para que aprenda a leer, ¡se convertirá en el mejor Lector!".

• La realidad: ¡No funciona así! Intentar convertir a un Escritor en Lector (o viceversa) es como intentar enseñar a un pez a volar. Aunque le des mucho entrenamiento extra, el pez (el Escritor convertido) nunca será tan bueno volando como un pájaro que nació para eso.
• El dato clave: Un Lector pequeño (de 400 millones de parámetros) es mucho mejor en tareas de lectura que un Escritor gigante (de 1000 millones) que intentó aprender a leer.

3. Sesgos de género
También miraron cómo estos robots ven el mundo. Descubrieron que, aunque comen lo mismo, sus "cerebros" aprenden cosas diferentes sobre el género. Por ejemplo, los Lectores tienden a usar más pronombres neutros, mientras que los Escritores a veces se inclinan más hacia estereotipos masculinos. Es como si el método de entrenamiento cambiara la "personalidad" del robot.

¿Por qué es importante esto?

Antes, si querías un robot para leer y buscar, tenías que usar modelos viejos y menos potentes. Si querías uno para escribir, usabas los nuevos y grandes.

Este estudio nos dice: "No necesitas un solo robot que lo haga todo mal. Necesitas el robot correcto para el trabajo correcto".

• ¿Quieres buscar información? Usa un Lector (y no gastes dinero en uno gigante si no es necesario).
• ¿Quieres generar texto? Usa un Escritor.

Además, como han abierto todos sus recetas, datos y modelos al público, ahora cualquier investigador puede entrar a su taller, mirar cómo construyeron a los gemelos y seguir mejorando la tecnología. ¡Es como si hubieran dejado las llaves de la cocina abiertas para que todos aprendan a cocinar mejor!

En resumen: No intentes forzar a un escritor a ser un detective. Entrena a cada uno para lo que es bueno, y todos ganaremos.

Resumen técnico

Resumen Técnico: SEQ VS SEQ (ETTIN)

1. El Problema

La comunidad de Modelos de Lenguaje (LLM) se ha centrado casi exclusivamente en arquitecturas solo-decodificador (estilo GPT) debido a su superioridad en tareas de generación de texto. Sin embargo, un subconjunto significativo de la comunidad sigue utilizando modelos solo-encoder (estilo BERT) para tareas de clasificación, recuperación (retrieval) y embebidos, dado que suelen ser más eficientes en inferencia y rendimiento en estos dominios específicos.

El problema central identificado es la falta de comparaciones justas entre estas dos arquitecturas. Los trabajos previos que intentaron comparar encoders y decoders se vieron obligados a utilizar modelos con:

• Diferentes tamaños de parámetros.
• Técnicas de entrenamiento dispares.
• Conjuntos de datos de pre-entrenamiento distintos.
• Arquitecturas incompatibles.

Esto impide aislar el impacto real de la arquitectura (encoder vs. decoder) frente a otros factores como la escala de datos o la calidad del entrenamiento. Además, existe la hipótesis de que los decoders grandes pueden adaptarse a tareas de encoder mediante entrenamiento continuo (cross-objective training), pero no hay evidencia concluyente sobre si esto supera a un encoder nativo entrenado desde cero.

2. Metodología: La Suite ETTIN

Para abordar estas limitaciones, los autores introducen ETTIN (nombre inspirado en el gigante nórdico de dos cabezas), una suite de modelos de código abierto que permite una comparación "manzana con manzana".

• Diseño de Modelos: La suite consta de 10 modelos (5 pares), donde cada par contiene un encoder y un decoder idénticos en todos los aspectos excepto en su objetivo y patrón de atención.
  • Tamaños: Ranging desde 17 millones hasta 1 mil millones de parámetros (17M, 32M, 68M, 150M, 400M, 1B).
  • Configuración: Ambos modelos en un par comparten la misma arquitectura (capas, tamaño oculto, cabezas de atención), hiperparámetros de entrenamiento y datos. La única diferencia es:
    • Encoder: Atención bidireccional + Objetivo MLM (Masked Language Modeling).
    • Decoder: Atención causal + Objetivo CLM (Causal Language Modeling).
• Datos y Entrenamiento:
  • Utilizan datos abiertos de alta calidad (mezcla de DCLM, Dolma v1.7, filtrados de Olmo 2).
  • Entrenamiento escalado hasta 2 billones de tokens (aunque el modelo de 1B se detuvo en ~667B tokens por limitaciones de cómputo, aún superando el óptimo de Chinchilla).
  • Fases de entrenamiento: Pre-entrenamiento base, Mid-training (extensión de contexto a 8k tokens) y Fase de Decaimiento (decay) con datos de alta calidad (libros, Wikipedia).
• Entrenamiento Cruzado (Cross-Objective):
  • Realizaron un experimento de adaptación: tomar el modelo final y continuar su pre-entrenamiento con el objetivo inverso (ej. un decoder entrenado con MLM para convertirlo en encoder, y viceversa).
  • Se entrenaron durante 50 mil millones de tokens adicionales con el objetivo inverso, utilizando una tasa de aprendizaje trapezoidal.

3. Contribuciones Clave

1. Suite de Comparación Justa: Primera suite de modelos emparejados (encoder/decoder) entrenados con la misma receta, datos y arquitectura, permitiendo aislar el efecto del objetivo de entrenamiento.
2. Rendimiento SOTA: Los modelos ETTIN logran el estado del arte (SOTA) para modelos de datos abiertos en sus respectivos tamaños, superando a ModernBERT (en encoders) y a Llama 3.2 / SmolLM2 (en decoders).
3. Replicación Abierta de ModernBERT: Proporcionan la primera replicación de código abierto del entrenamiento de ModernBERT, permitiendo a la comunidad construir sobre su receta.
4. Análisis de Sesgo de Género: Utilizan la transparencia de sus datos para analizar cómo los diferentes objetivos (MLM vs. CLM) afectan el aprendizaje de sesgos de género, mostrando diferencias sutiles en la predicción de pronombres.
5. Artefactos Completos: Liberan no solo los modelos, sino también los datos de entrenamiento ordenados por lote, los checkpoints (200+ por modelo) y el código, facilitando el análisis detallado del proceso de aprendizaje.

4. Resultados Principales

• Ventajas Arquitectónicas Naturales:

  • Encoders: Dominan claramente en tareas de clasificación (ej. MNLI) y recuperación (ej. MS MARCO). Un encoder de 400M supera a un decoder de 1B en tareas de clasificación.
  • Decoders: Son superiores en tareas generativas (ej. ARC, HellaSwag, LAMBADA). La brecha de rendimiento se amplía a medida que aumenta el tamaño del modelo.

• Ineficacia del Entrenamiento Cruzado (Cross-Objective):

  • Hallazgo Crítico: Adaptar un decoder para actuar como encoder (entrenándolo con MLM) o viceversa no compensa la falta de la arquitectura nativa.
  • Un encoder nativo de 400M supera a un decoder de 1B que ha sido continuado con entrenamiento MLM en tareas de clasificación.
  • Un decoder nativo supera a un encoder continuado con CLM en tareas generativas.
  • Esto sugiere que el objetivo de entrenamiento (MLM vs. CLM) moldea fundamentalmente la representación interna del modelo de manera que no se puede revertir fácilmente con entrenamiento adicional.

• Escalado:

  • En tareas generativas, los modelos "decoder-from-encoder" (encoders entrenados con CLM) escalan mal con el tamaño, lo que explica la falta de trabajos previos sobre este tema.

• Sesgo de Género:

  • Los modelos encoder tienden a usar más pronombres neutrales de género en comparación con los decoders.
  • Ambos modelos muestran un sesgo hacia pronombres masculinos, pero la magnitud y la tendencia varían según la arquitectura y el tamaño.

5. Significado e Implicaciones

El trabajo de ETTIN tiene implicaciones profundas para el desarrollo futuro de LLMs:

1. Validación de Especialización: Confirma que las arquitecturas de encoder y decoder tienen fortalezas inherentes que no se pueden mitigar simplemente cambiando el objetivo de pérdida o añadiendo más datos de entrenamiento cruzado.
2. Guía para la Selección de Modelos:
   • Para clasificación y recuperación, se recomienda encarecidamente usar encoders nativos, incluso si son más pequeños que los decoders disponibles en los rankings (ej. un encoder de 3B podría superar a un decoder de 7B+ en MTEB).
   • Para generación, los decoders siguen siendo la opción superior.
3. Transparencia y Reproducibilidad: Al liberar los datos de entrenamiento y los checkpoints, el estudio permite a la comunidad investigar cómo los objetivos de pre-entrenamiento afectan el aprendizaje de conceptos específicos (como el sesgo o la razonamiento), algo que antes era difícil con modelos propietarios o con datos cerrados.
4. Desmitificación de la Adaptación: Desmiente la idea de que simplemente "ajustar" un gran modelo generativo (decoder) lo convierte en un buen modelo de representación (encoder), ahorrando recursos computacionales al evitar intentos de adaptación ineficaces en favor de entrenar arquitecturas nativas.

En conclusión, ETTIN establece un nuevo estándar para la comparación de arquitecturas de lenguaje, demostrando que la elección entre encoder y decoder debe basarse en la tarea objetivo, ya que el entrenamiento cruzado no es una solución mágica para unificar ambas capacidades.