💻 computer science

BidirLM: From Text to Omnimodal Bidirectional Encoders by Adapting and Composing Causal LLMs

Este trabajo presenta BidirLM, una familia de cinco codificadores bidireccionales que superan a las alternativas en texto, visión y audio, logrando transformar modelos generativos causales mediante una fase de enmascaramiento previo, una estrategia de fusión de pesos y mezcla de datos para evitar el olvido catastrófico, y la integración de modelos especializados.

Autores originales: Nicolas Boizard, Théo Deschamps-Berger, Hippolyte Gisserot-Boukhlef, Céline Hudelot, Pierre Colombo

Publicado 2026-04-03

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Nicolas Boizard, Théo Deschamps-Berger, Hippolyte Gisserot-Boukhlef, Céline Hudelot, Pierre Colombo

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un chef de cocina increíble (un modelo de lenguaje causal, como los que generan texto) que es experto en cocinar plato tras plato, uno tras otro, sin mirar hacia atrás. Es muy rápido creando recetas nuevas, pero si le preguntas "¿qué ingredientes usaste en el primer paso de este plato?", se queda bloqueado porque solo mira hacia adelante.

Por otro lado, tienes un sommelier (un modelo bidireccional, como BERT) que puede saborear un plato completo, mirando hacia atrás y hacia adelante a la vez, para entender el equilibrio exacto de los sabores. Este es perfecto para clasificar, analizar o buscar información, pero no sabe cocinar platos nuevos.

El problema es que la comunidad de inteligencia artificial ha invertido millones de horas entrenando a esos chefs en temas muy específicos: algunos son expertos en matemáticas, otros en código de programación, otros en seguridad o en describir imágenes. Pero nadie ha logrado convertir a esos chefs en sommeliers eficientes sin perder sus habilidades culinarias.

Aquí es donde entra BidirLM, el "truco de magia" que proponen los autores de este paper.

1. El Problema: ¿Cómo convertir al Chef en Sommelier?

Antes, la gente intentaba transformar a estos modelos causales (los chefs) en modelos bidireccionales (sommeliers) simplemente forzándoles a mirar hacia atrás. Pero el resultado era desastroso: el modelo olvidaba todo lo que sabía (se le olvidaba cómo cocinar) o se volvía mediocre en todo.

La analogía: Es como intentar enseñar a un corredor de maratón a nadar sin que pierda su resistencia. Si solo lo metes al agua de golpe, se ahoga o olvida cómo correr.

2. La Solución: El "Entrenamiento de Transición" (La Fase de Máscara)

Los autores descubrieron que el error era saltarse un paso crucial. No puedes pasar de "mirar solo adelante" a "mirar en todas direcciones" de la noche a la mañana.

El Truco: Primero, deben entrenar al modelo con una "máscara". Imagina que le pones una venda en los ojos y le dices: "Adivina qué palabra falta en medio de esta frase usando el contexto de ambos lados".
El Resultado: Esto le enseña al modelo a entender el contexto completo sin romper su cerebro. Es como si el corredor hiciera ejercicios de equilibrio antes de saltar al agua. Sin este paso, el modelo nunca rinde bien en tareas de análisis.

3. El Reto: ¿Cómo no olvidar lo que ya sabían? (El Olvido Catastrófico)

Cuando entrenas a un modelo nuevo, suele olvidar lo que sabía antes (como cuando aprendes un nuevo idioma y empiezas a olvidar palabras de tu lengua materna). Además, los autores querían hacer esto sin tener acceso a los datos originales con los que se entrenó el modelo (que son secretos o demasiado grandes).

Su estrategia de dos pasos:

La Fusión de Pesos (El "Smoothie"): Imagina que tienes dos modelos: el modelo original (el chef experto) y el modelo adaptado (el chef que ahora sabe nadar). En lugar de entrenar desde cero, simplemente mezclan sus cerebros (sus pesos matemáticos) al 50%. Es como hacer un batido perfecto entre el experto original y el nuevo aprendiz. Esto recupera el conocimiento perdido.
La Dieta Multidominio: En lugar de entrenar solo con textos en inglés, les dan una "dieta" pequeña pero variada: un poco de código, un poco de matemáticas, un poco de español, un poco de francés. Esto mantiene al modelo "despierto" en todos los temas sin necesidad de volver a leer todo internet.

4. La Magia Final: El "Omnimodal" (El Super-Sommelier)

Aquí es donde el proyecto se vuelve realmente brillante. Como ya tienen un modelo bidireccional base (BidirLM), pueden fusionarlo con otros modelos especializados que ya existen en el ecosistema:

¿Quieres que entienda imágenes? ¡Fusiona tu modelo con un modelo de visión!
¿Quieres que entienda audio? ¡Fusiona tu modelo con un modelo de reconocimiento de voz!

La analogía: Imagina que tienes un sommelier base. En lugar de entrenar a alguien nuevo desde cero para que entienda vino, música y pintura, simplemente le pones unas "gafas de realidad aumentada" (la cabeza de visión) y "auriculares" (la cabeza de audio) que ya existen y funcionan. ¡Y listo! Tienes un sommelier que puede analizar un plato, describir la foto del plato y escuchar la crítica del chef, todo al mismo tiempo.

¿Por qué es importante esto?

Ahorro de energía: No necesitan entrenar modelos gigantes desde cero. Solo "unen" piezas que ya existen.
Calidad: Sus modelos (BidirLM) son mejores que los actuales en entender texto, imágenes y audio, y son más pequeños y rápidos.
Libertad: Lo hacen todo con datos abiertos, sin secretos corporativos.

En resumen:
BidirLM es como un kit de transformación universal. Toma a los modelos de IA que solo saben "hablar hacia adelante", les da un entrenamiento especial para que aprendan a "mirar hacia atrás", los mezcla con sus versiones originales para que no olviden nada, y luego les permite "conectar" con otros expertos (visión, audio) para crear un super-entendimiento de todo el mundo, todo sin gastar una fortuna en computadoras.

Resumen Técnico: BidirLM

1. El Problema

Los Grandes Modelos de Lenguaje (LLM) causales (generativos) dominan el ecosistema de IA, con miles de horas de GPU dedicadas a especializarlos en dominios como código, matemáticas, seguridad, visión y audio. Sin embargo, las tareas de representación (como búsqueda semántica, clasificación o embeddings) siguen dependiendo casi exclusivamente de arquitecturas de codificadores bidireccionales tradicionales (estilo BERT).

Esto crea una brecha significativa:

Desaprovechamiento de conocimiento: La vasta especialización de los modelos generativos causales no se transfiere a los modelos de representación.
Limitaciones de adaptación actual: Los métodos existentes para convertir LLMs causales en codificadores bidireccionales carecen de consenso, sufren de olvido catastrófico (pérdida de conocimiento base al adaptarse) y no integran flexiblemente el ecosistema de modelos especializados.
Falta de datos: Muchos enfoques requieren los datos de pre-entrenamiento originales (privados), lo que limita la reproducibilidad y escalabilidad.

2. Metodología

Los autores proponen un marco de trabajo de código abierto, BidirLM, que transforma modelos decodificadores causales (Gemma3 y Qwen3) en codificadores bidireccionales robustos y multimodales mediante tres pilares estratégicos:

A. Estrategia de Adaptación en Dos Fases (Ablaciones Críticas)
A través de experimentos sistemáticos, identificaron que la adaptación exitosa requiere una fase previa de enmascaramiento que a menudo se omite en métodos recientes basados solo en contraste:

Fase de MNTP (Masked Next-Token Prediction): Se habilita la atención bidireccional y se entrena el modelo con un objetivo de predicción de tokens enmascarados. Esto es crucial para desbloquear el rendimiento en tareas que requieren ajuste fino completo (fine-tuning).
Fase Contrastiva (InfoNCE): Tras la fase MNTP, se aplica entrenamiento contrastivo para mejorar la calidad de los embeddings genéricos (zero-shot).

Hallazgo clave: Los métodos que saltan la fase MNTP y van directo a contraste sacrifican la capacidad de ajuste fino para ganar en embeddings genéricos. La combinación secuencial (MNTP $\rightarrow$ Contrastivo) supera a ambos por separado.

B. Escalado sin Datos de Pre-entrenamiento Originales
Para evitar el olvido catastrófico sin acceder a los datos originales del modelo base, proponen una estrategia dual:

Fusión de Pesos Lineal (Weight Merging): Se fusionan los pesos del modelo adaptado con los del modelo base original (ratio 50/50). Esto recupera el conocimiento distribucional perdido.
Mezcla de Datos Ligera: Se introduce un 20-30% de datos de múltiples dominios (multilingüe, código, matemáticas) durante el entrenamiento para preservar la versatilidad.

C. Composición del Ecosistema Causal (Enfoque Omnimodal)
En lugar de entrenar modelos desde cero para nuevas modalidades, utilizan la fusión de pesos para integrar modelos especializados causales existentes:

Dominio: Fusión con modelos de seguridad (Qwen3Guard).
Modalidad: Fusión con modelos de visión (Qwen3-VL) y audio (Qwen3-ASR).
Resultado: Creación de BidirLM-Omni, un modelo compacto que hereda capacidades de texto, visión y audio sin reentrenar toda la tubería.

3. Contribuciones Clave

BidirLM: Una familia de cinco codificadores de código abierto (basados en Gemma3 y Qwen3) que superan a las alternativas de código abierto en benchmarks de texto, visión y audio.
BidirLM-Omni-2.5B: Un modelo omnimodal compacto que combina backbones de texto, visión y audio mediante fusión de pesos, logrando un estado del arte (SOTA) en múltiples modalidades.
Validación de la Fase MNTP: Demostración empírica de que la fase de enmascaramiento previa es indispensable para el rendimiento en tareas de ajuste fino, corrigiendo la tendencia actual de usar solo entrenamiento contrastivo.
Estrategia de Fusión Eficiente: Un método que permite componer modelos especializados (seguridad, audio, visión) en un codificador bidireccional con un coste computacional mínimo (sin reentrenamiento masivo) y sin compartir modalidades previas.

4. Resultados

Los modelos BidirLM han sido evaluados en benchmarks estándar y muestran un rendimiento superior:

Rendimiento en Texto (XTREME y MTEB):
- Los modelos BidirLM redefinen la frontera de Pareto (rendimiento vs. tamaño) en benchmarks de embeddings multilingües (MTEB v2) y tareas específicas (XTREME).
- Ejemplo: BidirLM-270M iguala el rendimiento de mmBERT-base (con 10% menos parámetros) y BidirLM-0.6B supera a EuroBERT-610m.
Rendimiento Omnimodal:
- BidirLM-Omni-2.5B supera al modelo omnimodal más potente anterior, Nemotron-Omni-3B (4.8B parámetros), en todas las modalidades, siendo casi la mitad de tamaño.
- Logra el primer lugar en el benchmark de imágenes (MIEB) y supera a arquitecturas bimodales mucho más grandes en audio (MAEB).
Eficiencia de Adaptación:
- La fusión de modelos permite alcanzar el 93% del rendimiento máximo en solo 20 pasos de entrenamiento (80 muestras) para tareas de especialización de dominio.
- La fusión funciona incluso cuando los modelos base no comparten modalidades previas (ej. fusionar un modelo de texto con uno de audio puro).

5. Significado e Impacto

Este trabajo representa un cambio de paradigma en la creación de modelos de representación:

Aprovechamiento del Ecosistema: Permite "reutilizar" miles de horas de GPU invertidas en la especialización de LLMs generativos (seguridad, código, etc.) para tareas de representación, algo que antes era imposible.
Accesibilidad y Reproducibilidad: Al no requerir los datos de pre-entrenamiento privados de los modelos base y ofrecer una receta de código abierto, democratiza la creación de codificadores de alto rendimiento.
Eficiencia Computacional: La estrategia de fusión de pesos y composición modular reduce drásticamente la necesidad de recursos computacionales para crear modelos multimodales especializados, evitando el reentrenamiento completo de pipelines.
Validación Técnica: Establece que la arquitectura causal puede ser adaptada exitosamente a bidireccional sin perder sus capacidades originales, siempre que se sigan las fases correctas de entrenamiento (MNTP + Contrastivo) y mitigación de olvido (Fusión de pesos).

En resumen, BidirLM demuestra que no es necesario construir arquitecturas de codificadores desde cero; en su lugar, se pueden ensamblar y adaptar modelos generativos existentes para crear sistemas de representación potentes, eficientes y multimodales.