Milco: Learned Sparse Retrieval Across Languages via a Multilingual Connector

1. Il Problema

Il Recupero Appreso Sparsa (Learned Sparse Retrieval - LSR) combina l'efficienza degli encoder bi-direzionali con la trasparenza del matching lessicale (basato su parole chiave). Tuttavia, gli approcci esistenti presentano due limiti fondamentali:

• Scalabilità Multilingue: La maggior parte dei modelli LSR è addestrata e ottimizzata solo per l'inglese. Estendere questi modelli ad altre lingue è complesso.
• Collasso Semantico: Tentativi diretti di proiettare input multilingue in un vocabolario inglese condiviso spesso portano a un "collasso semantico", dove le rappresentazioni perdono il significato interpretabile dei termini, degradando sia la trasparenza che l'efficacia.
• Perdita di Entità: Le entità rare o specifiche (specialmente in lingue non latine) tendono a essere perse quando vengono mappate forzatamente in inglese, riducendo la robustezza del recupero.

2. Metodologia: L'Architettura MILCO

MILCO (Multilingual Connector) è un'architettura LSR progettata per mappare query e documenti di diverse lingue in uno spazio lessicale inglese condiviso, mantenendo al contempo la trasparenza e la robustezza. L'architettura si compone di tre elementi principali:

A. Encoder Multilingue e Connettore

• Encoder Multilingue: Utilizza un modello base multilingue (es. BGE-M3) per trasformare l'input in uno spazio di embedding contestualizzato.
• Multilingual Connector: Un layer MLP (Multi-Layer Perceptron) che proietta gli stati nascosti multilingue in uno spazio di embedding di dimensione ridotta, allineato alla lingua "pivot" (inglese). Questo permette di unificare le rappresentazioni di tutte le lingue in un unico spazio lessicale inglese, riducendo memoria e calcolo durante l'addestramento.

B. Testa LexEcho (Dual-View)

Per risolvere il problema della perdita di entità rare, MILCO introduce una nuova testa di output chiamata LexEcho, che genera due viste lessicali complementari:

1. Vista Pivot (Inglese): Generata tramite un head MLM inglese standard (simile a SPLADE). Mappa i concetti semantici in termini inglesi (es. "live", "music", "phone").
2. Vista Sorgente: Utilizza un token speciale [ECHO] per "riecheggiare" selettivamente i token originali della lingua sorgente. Questo permette al modello di mantenere entità che non hanno una traduzione diretta o che verrebbero perse nella proiezione inglese (es. "陌陌" per Momo), assegnando pesi elevati a questi token critici.

C. Strategia di Addestramento a Due Stadi

MILCO utilizza un regime di addestramento specifico per evitare il collasso semantico:

1. Sparse Alignment Pretraining (SAP): Una fase preliminare che allinea le rappresentazioni multilingue a un vocabolario inglese usando coppie di frasi parallele (bitext). Viene utilizzata una funzione di perdita SMSE (Sparse-aware MSE) che si concentra sulle coordinate attive (non nulle) per evitare la diluizione del gradiente. Questo stadio è cruciale per garantire che il modello produca token interpretabili.
2. Sparse Contrastive Training (SCT): Una fase di affinamento che utilizza l'apprendimento per distillazione (da un cross-encoder teacher) e regolarizzazione L1 per promuovere la sparsità e ottimizzare l'efficacia del recupero.

3. Contributi Chiave

• Architettura Unificata: MILCO è il primo modello LSR in grado di gestire sia il recupero multilingue (query e doc nella stessa lingua) che cross-lingua (query in una lingua, doc in un'altra) utilizzando un singolo modello, mappando tutto su un vocabolario inglese condiviso.
• LexEcho Head: Introduce un meccanismo innovativo per preservare le entità della lingua sorgente, migliorando significativamente la robustezza su entità "a coda lunga" (tail entities) e nomi propri.
• Sparse Alignment Pretraining (SAP): Propone una nuova strategia di pre-addestramento specifica per LSR multilingue, risolvendo il problema del collasso semantico che affliggeva i tentativi precedenti.
• Efficienza Dinamica: Grazie alla natura sparsa delle rappresentazioni, MILCO supporta il pruning post-hoc (potatura dopo l'addestramento). È possibile ridurre le dimensioni dell'indice e la latenza rimuovendo i token a basso peso senza riaddestrare il modello.

4. Risultati Sperimentali

I risultati sono stati valutati su 39 lingue e diversi benchmark standard (MIRACL, MTEB v2, MLDR, MKQA).

• Prestazioni di Stato dell'Arte (SOTA):

  • Su MIRACL (18 lingue), MILCO (560M parametri) supera i modelli densi e multi-vettore più grandi, inclusi BGE-M3 (+4.5% nDCG@10) e Qwen3-Embed 8B (+3.6%), pur avendo una frazione delle dimensioni.
  • Supera i baselines sparse esistenti come M3-Sparse (+34.1%) e T-Splade.
  • Su MLDR (recupero documenti lunghi), ottiene un nDCG@10 di 74.4, superando di gran lunga i modelli densi con supporto nativo per contesti lunghi.
  • Su MKQA (recupero cross-lingua zero-shot), raggiunge un R@100 di 76.6, superando i metodi sparse precedenti (che fallivano per mismatch lessicale) e competendo con i migliori modelli densi.

• Efficienza e Scalabilità:

  • Pruning: Riducendo le rappresentazioni dei documenti a soli 30 dimensioni attive in media (tramite pruning basato sulla massa), MILCO mantiene prestazioni superiori a Qwen3-Embed 0.6B (che usa 1024 dimensioni).
  • Velocità e Indice: Con il pruning aggressivo (p=60), MILCO riduce la latenza di recupero di 3x e la dimensione dell'indice di 10x rispetto ai modelli densi, mantenendo un'efficacia competitiva.

5. Significato e Impatto

MILCO rappresenta un passo avanti significativo nell'Information Retrieval multilingue:

1. Trasparenza: A differenza dei modelli densi (che operano in spazi latenti opachi), MILCO offre rappresentazioni lessicali interpretabili, facilitando il debugging e l'analisi dei bias.
2. Efficienza Reale: Dimostra che i metodi sparsi possono essere non solo competitivi in termini di accuratezza, ma anche superiori in termini di efficienza operativa (indice più piccolo, latenza più bassa), rendendoli ideali per sistemi di produzione su larga scala.
3. Accessibilità: Fornisce un modello unico che supporta 39 lingue, eliminando la necessità di addestrare modelli separati per ogni coppia di lingue o di affidarsi a pipeline di traduzione costose.

In sintesi, MILCO risolve il compromesso tra efficacia, trasparenza ed efficienza nel recupero multilingue, stabilendo un nuovo standard per i sistemi di ricerca basati su rappresentazioni sparse.