Milco: Learned Sparse Retrieval Across Languages via a Multilingual Connector

1. El Problema

La Recuperación Esparsa Aprendida (LSR, por sus siglas en inglés) combina la eficiencia de los codificadores de dos etapas (bi-encoders) con la transparencia de la coincidencia léxica. Sin embargo, los enfoques existentes enfrentan dos desafíos principales al escalar más allá del inglés:

• Colapso Semántico: Intentar proyectar textos multilingües directamente a un vocabulario inglés mediante un modelo de lenguaje enmascarado (MLM) multilingüe suele provocar una pérdida de interpretabilidad y efectividad, donde las representaciones pierden el significado de los términos.
• Pérdida de Entidades Inusuales: Al proyectar entidades específicas (especialmente de lenguas no latinas o nombres propios) a un espacio léxico inglés, estas a menudo se pierden o se traducen incorrectamente, degradando la recuperación.
• Falta de Unificación: Las soluciones actuales son fragmentadas: los modelos densos multilingües a menudo tienen componentes esparsos débiles, y los modelos esparsos multilingües suelen requerir entrenar modelos separados para cada par de idiomas, lo que limita su escalabilidad.

2. Metodología Propuesta: MILCO

El authors presentan MILCO, una arquitectura LSR diseñada para mapear consultas y documentos de múltiples idiomas a un espacio léxico inglés compartido mediante un "conector multilingüe".

Arquitectura Clave

MILCO consta de tres componentes principales (ver Figura 1 del artículo):

1. Codificador Multilingüe: Un transformador base que convierte el texto de entrada en un espacio de embeddings multilingüe.
2. Conector Multilingüe: Una capa (implementada como un MLP) que proyecta los estados ocultos multilingües a un espacio de embedding pivote (inglés). Esto unifica las representaciones antes de la proyección léxica.
3. Cabeza LexEcho (LexEcho Head): Una innovación crucial que genera una representación léxica de doble vista:
   • Vista Pivote (Inglés): Generada por un cabezal MLM en inglés, captura conceptos semánticos y términos relacionados en inglés (ej. "music", "phone").
   • Vista Fuente: Utiliza un token especial [ECHO] para "repetir" selectivamente los tokens de entrada originales en su idioma nativo. Esto preserva entidades que no se traducen bien o que son desconocidas en inglés (ej. "陌陌" en lugar de solo "Momo").

Estrategia de Entrenamiento (Dos Etapas)

Para evitar el colapso semántico y asegurar la alineación, MILCO utiliza un régimen de entrenamiento específico:

1. Preentrenamiento de Alineación Esparsa (SAP - Sparse Alignment Pretraining):
   • Utiliza corpus de oraciones paralelas (bitext) masivos y disponibles públicamente.
   • Entrena al modelo para que la vista en inglés de una oración no inglesa coincida con la representación esparsa de su traducción inglesa (usando un modelo maestro como SPLADEv3).
   • Emplea una pérdida MSE esparsa (SMSE) que se centra en las coordenadas activas, evitando la dilución de gradientes.
   • Importante: Sin esta etapa, el entrenamiento contrastivo posterior provoca un colapso semántico.
2. Entrenamiento Contrastivo Esparso (SCT):
   • Refina el modelo utilizando datos de recuperación con una función de pérdida de distilación (KL-divergencia) desde un cross-encoder maestro.
   • Incluye regularización L1 para fomentar la esparsidad en las representaciones de consultas y documentos.

3. Contribuciones Clave

• Arquitectura Unificada: MILCO es el primer modelo que unifica la recuperación multilingüe y translingüe en un solo modelo esparso, mapeando todo a un vocabulario inglés compartido sin perder la robustez de los tokens fuente.
• Cabeza LexEcho: Introduce una vista dual que mejora la robustez ante entidades poco comunes o no traducibles, combinando la proyección semántica con la preservación de tokens originales.
• Estrategia SAP: Propone un nuevo método de preentrenamiento de alineación esparsa que sienta las bases para un entrenamiento contrastivo efectivo y transparente, resolviendo el problema del colapso semántico en LSR multilingüe.
• Eficiencia Dinámica: Al igual que en el aprendizaje de representaciones Matryoshka, MILCO soporta poda post-hoc (después del entrenamiento) para controlar la latencia y el tamaño del índice sin necesidad de objetivos de entrenamiento auxiliares.

4. Resultados Experimentales

El modelo MILCO (560M parámetros) fue evaluado en 39 idiomas en benchmarks estándar como MIRACL, MTEB v2, MLDR y MKQA.

• Rendimiento General:
  • En MIRACL, MILCO supera a los modelos de referencia más avanzados: BGE-Sparse (+34.1%), BGE-Dense (+4.5%) y Qwen3-Embed 8B (+3.6%) en nDCG@10.
  • Supera a modelos mucho más grandes (como E5-Mistral-7B y Qwen3-8B) a pesar de tener ~14 veces menos parámetros.
  • En MTEB v2 (39 idiomas), alcanza un promedio de 66.83, superando a modelos densos de tamaño similar como BGE-M3 (62.02) y Qwen3-0.6B (63.93).
• Recuperación Translingüe (Zero-Shot):
  • En el benchmark MKQA (consultas en 25 idiomas, documentos en inglés), MILCO logra un R@100 de 76.6, superando a métodos esparsos anteriores (que fallan por desajuste de vocabulario) y superando ligeramente a los mejores modelos densos (BGE-M3 Dense: 75.3).
• Eficiencia y Poda:
  • Mediante poda basada en masa, MILCO puede reducir las representaciones de documentos a solo 30 dimensiones activas en promedio.
  • Con esta configuración, MILCO supera a Qwen3-Embed 0.6B (que usa 1024 dimensiones) en efectividad, logrando una latencia de recuperación 3 veces menor y un índice 10 veces más pequeño.
• Robustez: La cabeza LexEcho aporta una mejora del +4.2% en MIRACL, siendo particularmente efectiva en idiomas no latinos (Chino, Telugu, Farsi, Coreano, Japonés) donde la proyección a inglés es más difícil.

5. Significancia e Impacto

El trabajo de MILCO es significativo porque:

1. Democratiza la Recuperación Esparsa Multilingüe: Proporciona un modelo único, eficiente y transparente que funciona bien en 39 idiomas, eliminando la necesidad de entrenar modelos específicos por idioma o par de idiomas.
2. Transparencia y Explicabilidad: A diferencia de los modelos densos (cajas negras), MILCO mantiene representaciones léxicas interpretables, permitiendo el rastreo de errores y la inspección de sesgos, algo crítico en aplicaciones de producción.
3. Eficiencia Operativa: Demuestra que la recuperación esparsa puede ser extremadamente eficiente en términos de almacenamiento (índices pequeños) y velocidad, superando a los modelos densos de última generación en escenarios de gran escala sin sacrificar la calidad.
4. Validación Teórica: Confirma que las incrustaciones léxicas esparsas tienen una capacidad representacional superior a las densas en ciertos benchmarks (como LIMIT), incluso para modelos de tamaño moderado.

En resumen, MILCO establece un nuevo estado del arte en la recuperación de información multilingüe, ofreciendo una solución escalable, transparente y altamente eficiente que supera a las arquitecturas densas y esparsas existentes.