Milco: Learned Sparse Retrieval Across Languages via a Multilingual Connector

1. O Problema

A Recuperação Esparsa Aprendida (LSR - Learned Sparse Retrieval) combina a eficiência dos codificadores bi-encoder com a transparência da correspondência lexical (baseada em termos do vocabulário). No entanto, a maioria das abordagens atuais de LSR é limitada ao inglês. As tentativas de expandir para cenários multilíngues enfrentam dois desafios principais:

1. Colapso Semântico: Ao treinar diretamente modelos multilíngues para mapear textos para um vocabulário compartilhado, as representações frequentemente perdem a interpretabilidade dos termos, resultando em tokens latentes aleatórios que não correspondem ao significado real, degradando a transparência e a eficácia.
2. Perda de Entidades Incomuns: Ao projetar textos de línguas não latinas (como chinês ou árabe) para um espaço lexical inglês, entidades específicas (nomes próprios, termos técnicos locais) são frequentemente perdidas ou mal traduzidas, prejudicando a recuperação de cauda longa (tail entities).

2. Metodologia: A Arquitetura MILCO

O MILCO (Multilingual Connector for Learned Sparse Retrieval) é uma arquitetura projetada para mapear consultas e documentos de 39 idiomas diferentes para um espaço léxico inglês compartilhado, mantendo a transparência e a robustez.

A arquitetura consiste em três componentes principais:

A. Codificador Multilíngue e Conector Multilíngue

• Um codificador baseado em Transformer processa o texto de entrada em qualquer idioma suportado.
• Um Conector Multilíngue (implementado como um MLP) projeta os estados ocultos multilíngues para o espaço de embedding do idioma pivô (inglês). Isso unifica as representações antes de serem decodificadas para o vocabulário inglês.

B. Cabeça LexEcho (LexEcho Head)

Para resolver a perda de entidades, o MILCO introduz uma nova cabeça de saída de dupla visão:

1. Visão Pivô (Inglês): Gera uma representação léxica esparsa em inglês, capturando conceitos semânticos e termos relacionados (expansão lexical), similar ao modelo SPLADE.
2. Visão Fonte (Source View): Utiliza um token especial [ECHO] para "ecoar" seletivamente os tokens originais da língua de entrada. Isso preserva entidades raras ou não traduzíveis que a visão em inglês falharia em capturar.

• A representação final combina ambas as visões, permitindo que o modelo recupere documentos baseando-se tanto na semântica traduzida quanto nos tokens originais.

C. Estratégia de Treinamento em Duas Etapas

O treinamento é crucial para evitar o colapso semântico:

1. Pré-treinamento de Alinhamento Esparsa (SAP - Sparse Alignment Pretraining):
   • Utiliza pares de textos paralelos (bitext) amplamente disponíveis.
   • Um modelo "professor" LSR em inglês (ex: SPLADEv3) gera o alvo.
   • O modelo MILCO é treinado para alinhar a visão em inglês do texto não inglês com a representação esparsa do texto inglês correspondente, usando uma perda MSE adaptada para vetores esparsos (SMSE).
   • Importância: Este passo é um pré-requisito para garantir que as representações tenham significado léxico real antes da otimização para recuperação.
2. Treinamento Contrastivo Esparsa (SCT):
   • Refina o modelo para eficácia de recuperação usando dados de relevância (com hard negatives e distillation de um cross-encoder).
   3. Regularização L1: Aplicada para manter a esparsidade das representações.

3. Principais Contribuições

• Arquitetura Unificada: O MILCO é o primeiro modelo LSR que suporta nativamente recuperação multilíngue e cruzada (cross-lingual) em um único modelo, mapeando tudo para um vocabulário inglês compartilhado.
• Cabeça LexEcho: Uma inovação que aumenta a robustez contra a perda de entidades ao fornecer uma visão de backup na língua fonte, essencial para idiomas não latinos.
• Pré-treinamento de Alinhamento (SAP): Uma nova estratégia de pré-treinamento que mitiga o colapso semântico, permitindo que modelos esparsos aprendam alinhamento multilíngue de forma estável.
• Eficiência Dinâmica: Suporta pruning (poda) pós-treinamento, permitindo controlar a latência e o tamanho do índice sem retreinamento.

4. Resultados Experimentais

O MILCO foi avaliado em 39 idiomas em benchmarks padrão (MIRACL, MTEB v2, MLDR, MKQA, BEIR).

• Desempenho de Estado da Arte (SOTA):
  • No benchmark MIRACL, o MILCO (560M parâmetros) superou o BGE-M3 (modelo denso/esparso híbrido de 560M) em +34.1% (nDCG@10) e o Qwen3-Embed 8B em +3.6%.
  • Superou modelos densos muito maiores (como E5-Mistral 7B e Qwen3-8B) em tarefas de recuperação multilíngue, apesar de ter apenas 560M parâmetros.
  • No MKQA (recuperação cruzada de idiomas), alcançou um R@100 de 76.6, superando significativamente métodos esparsos anteriores (que falhavam devido à incompatibilidade de vocabulário) e competindo com modelos densos de última geração.
• Robustez: A ablação mostrou que a cabeça LexEcho traz um ganho médio de +4.2% no MIRACL, com melhorias drásticas em idiomas não latinos (ex: +8.09% em Chinês).
• Eficiência e Poda (Pruning):
  • O MILCO permite reduzir as representações dos documentos para apenas 30 dimensões ativas em média (via poda baseada em massa).
  • Com essa configuração, o MILCO supera o Qwen3-Embed 0.6B (que usa 1024 dimensões densas) em eficácia, enquanto oferece:
    • 3x menor latência de recuperação.
    • 10x menor tamanho de índice (12 GB vs 134 GB para o modelo denso).

5. Significado e Impacto

O MILCO representa um avanço significativo na recuperação de informação multilíngue ao demonstrar que a recuperação esparsa pode ser escalada para dezenas de idiomas sem sacrificar a transparência ou a eficácia.

• Transparência: Diferente de modelos densos (caixa preta), o MILCO gera representações interpretáveis (tokens com pesos), facilitando a depuração de erros e a inspeção de viés.
• Viabilidade de Produção: A capacidade de reduzir drasticamente o tamanho do índice e a latência através de poda pós-hoc torna o MILCO extremamente atraente para sistemas de produção que exigem escalabilidade e baixo custo computacional.
• Acesso Global: Ao lidar eficazmente com idiomas de recursos limitados e entidades raras, o MILCO democratiza a recuperação de alta qualidade para um público global diversificado, superando as limitações das abordagens atuais focadas apenas no inglês.

Em resumo, o MILCO estabelece um novo padrão para recuperação esparsa multilíngue, combinando a eficiência de modelos leves com a robustez necessária para lidar com a complexidade linguística global.