When Does Mixing Help? Analyzing Query Embedding Interpolation in Multilingual Dense Retrieval

Resumo Técnico: Quando a Mistura Ajuda? Analisando a Interpolação de Embeddings de Consulta na Recuperação Densa Multilíngue

Declaração do Problema
Embora a consulta de múltiplas línguas (code-mixing) seja ubíqua em comunidades multilíngues, a sensibilidade dos recuperadores densos a tais consultas permanece pouco compreendida. Os benchmarks de recuperação de informação (IR) multilíngue existentes tipicamente assumem que as consultas são monolíngues ou totalmente traduzidas, deixando o comportamento dos recuperadores densos sob condições de linguagem mista amplamente não testado. Uma questão crítica em aberto é se misturar idiomas em uma consulta pode melhorar a eficácia da recuperação além do desempenho do melhor endpoint monolíngue, ou se a eficácia da recuperação é estritamente limitada pela representação superior de um único idioma. Além disso, gerar consultas de código misto de alta qualidade e com controle de proporção via Grandes Modelos de Linguagem (LLMs) é intensivo em recursos e propenso a ruídos de geração e imprecisões de tokenização.

Metodologia
Os autores propõem uma abordagem inovadora e controlada para estudar a mistura de linguagens: mistura ao nível de embedding. Em vez de gerar consultas de código misto baseadas em texto, eles constroem representações de consultas mistas interpolando os embeddings vetoriais de duas traduções monolíngues semanticamente equivalentes.

• Dados e Configuração: O estudo utiliza o dataset mMARCO, cobrindo 14 idiomas e 35 pares de idiomas representativos. Para cada par $(L1, L2)$, eles avaliam três configurações de idioma de documento: apenas $L1$, apenas $L2$ e uma união bilíngue ($L1+L2$).
• Mecanismo de Mistura: Dada as embeddings monolíngues $e_{L1}$ e $e_{L2}$, uma embedding mista $\tilde{e}(\lambda)$ é gerada via combinação convexa:
  $$\tilde{e}(\lambda) = \frac{(1 - \lambda/100)e_{L1} + (\lambda/100)e_{L2}}{\|(1 - \lambda/100)e_{L1} + (\lambda/100)e_{L2}\|}$$
  onde $\lambda \in \{0, 10, 30, 50, 70, 90, 100\}$ representa a razão de mistura.
• Validação: Para garantir que a mistura ao nível de embedding seja um proxy válido para o code-mixing natural, os autores comparam isso com a mistura ao nível de palavra gerada por um LLM (especificamente para o par Inglês-Chinês). Eles demonstram que, embora a mistura ao nível de palavra introduza ruído, as tendências de desempenho através das razões de mistura são consistentes com a interpolação de embeddings.
• Modelos: Os experimentos principais utilizam o BGE-M3, com estudos de ablação conduzidos em outras famílias de modelos e escalas (variantes Qwen3, E5, GTE, Jina).

Principais Contribuições e Descobertas
O estudo revela que a sensibilidade à mistura de idiomas é estruturada e previsível, caracterizada por cinco principais descobertas:

1. A Mistura Ótima Frequentemente Supera os Endpoints Monolíngues: Em 88 de 105 (83,8%) configurações experimentais, a razão de mistura interior ótima superou a melhor consulta monolíngue. Isso sugere que a combinação de embeddings captura sinais semânticos complementares, gerando representações mais robustas.
2. Dominância do Inglês e Assimetria: A presença de inglês no índice de documentos altera fundamentalmente a dinâmica de mistura.
   • Índices Sem Inglês: Quando o inglês está ausente do índice de documentos, a mistura é uniformemente benéfica.
   • Índices Com Inglês: Quando documentos em inglês estão presentes, a mistura não proporciona benefício; consultas puramente em inglês são ótimas.
   • Assimetria: Adicionar inglês a uma consulta não inglesa melhora a recuperação em documentos não ingleses, mas adicionar um idioma não inglês a uma consulta em inglês degrada consistentemente a recuperação em documentos em inglês.
3. Inglês como o Parceiro Mais Forte: Para cada idioma de documento testado, o inglês atua como o parceiro de mistura mais forte, gerando os maiores ganhos de desempenho em comparação com outros pares de idiomas.
4. Correlação com Distância Tipológica: Ao controlar a dominância do inglês, os ganhos de mistura correlacionam-se negativamente com a distância tipológica; idiomas que são mais distantes tipologicamente mostram menores ganhos de mistura.
5. Robustez: Esses padrões mantêm-se consistentes através de diferentes famílias e escalas de modelos, indicando que a sensibilidade à mistura de embeddings é uma propriedade previsível dos atuais recuperadores densos.

Significância e Implicações
O artigo conclui que a mistura de idiomas não é uma propriedade binária de "bom ou ruim", mas um comportamento matizado dependente da composição do idioma do documento. Os autores validam que a interpolação ao nível de embedding serve como um diagnóstico de baixo custo e controlável para a sensibilidade à mistura de idiomas.

Praticamente, as descobertas oferecem orientações acionáveis para sistemas de IR multilíngue e sistemas de Geração Aumentada por Recuperação (RAG):

• Para índices inclusivos de Inglês: Sistemas devem adotar consultas puramente em inglês para evitar a degradação do desempenho.
• Para índices de Não-Inglês: A mistura de embeddings serve como uma estratégia eficaz de aumento em tempo de teste para maximizar o recall de recuperação, particularmente quando a razão ótima é aproximadamente equilibrada ou levemente inclinada para o idioma do documento (frequentemente próximo de 70% de conteúdo no idioma do documento).

Os autores observam que, embora sua configuração controlada isole os efeitos das razões de mistura, trabalhos futuros são necessários para estender essas descobertas para consultas de código misto que ocorrem naturalmente e organicamente, e para explorar a interpolação de múltiplos idiomas simultaneamente.