From Tokens to Concepts: Leveraging SAE for SPLADE

Título: De Tokens a Conceitos: Aproveitando SAE para SPLADE

Autores: Yuxuan Zong, Mathias Vast, Basile Van Cooten, Laure Soulier, Benjamin Piwowarski.
Conferência: SIGIR '26 (2026).

---

1. O Problema

Os modelos de Recuperação Esparsa Aprendida (LSR - Learned Sparse Retrieval), como o SPLADE, oferecem um excelente equilíbrio entre eficiência e eficácia na Recuperação de Informação (RI). No entanto, eles dependem intrinsecamente do vocabulário do modelo de linguagem pré-treinado (PLM) subjacente (baseado em Masked Language Modeling - MLM). Essa dependência gera várias limitações:

• Polissemia e Sinonímia: O modelo lida mal com palavras que têm múltiplos significados ou sinônimos, dependendo de expansões de termos que podem ser imperfeitas.
• Desafios Multilíngues e Multimodais: Adaptar esses modelos para novos idiomas ou modalidades é difícil devido à fixação no vocabulário original do token.
• Camada Final do Transformer: A representação esparsa é derivada da última camada do Transformer, que pode não ser a mais adequada para todas as tarefas de RI.
• Ineficiência: A necessidade de expandir termos para cobrir lacunas vocabulares pode aumentar o tamanho do índice e a latência.

O objetivo do trabalho é superar essas limitações substituindo o vocabulário de tokens fixo por um espaço latente de conceitos semânticos aprendidos.

---

2. Metodologia: SAE-SPLADE

Os autores propõem uma nova arquitetura, SAE-SPLADE, que substitui a cabeça de projeção do MLM (MLM head) do SPLADE por um Autoencoder Esparsificado (SAE - Sparse Auto-Encoder).

Arquitetura e Treinamento

O processo segue um pipeline de duas etapas (ilustrado na Figura 1 do artigo):

1. Pré-treinamento do SAE:

   • Um SAE é treinado para reconstruir os embeddings contextuais densos produzidos por um modelo PLM (usando DistilBERT como base).
   • O SAE mapeia os estados ocultos do PLM para um espaço latente esparsificado ($z \in \mathbb{R}^M$), onde $M$ é muito maior que a dimensão original (base sobrecompleta).
   • Utiliza-se a variante TopK SAE, que seleciona os $k$ maiores valores de ativação, evitando a necessidade de regularização $L_1$ explícita e mitigando problemas de "latentes mortos" ou viés de encolhimento.
   • O decodificador do SAE é descartado após o pré-treinamento; apenas o codificador é utilizado para a tarefa de RI.

2. Ajuste Fino (Fine-tuning) para RI:

   • O codificador do SAE treinado substitui a cabeça do MLM no SPLADE.
   • O modelo é ajustado para a tarefa de recuperação usando o mesmo objetivo do SPLADE (combinação de KL-divergence e MarginMSE via destilação de um cross-encoder).
   • Adiciona-se regularização de FLOPs para controlar a esparsidade final das representações de documentos e consultas.

Métrica de Avaliação Proposta (E2)

Para avaliar o compromisso entre eficiência e eficácia, os autores introduzem uma nova métrica chamada E2 (Efficiency-Effectiveness). Ela combina o MRR (eficácia) com o custo computacional (QD-FLOPs - Query-Document Floating Point Operations), penalizando modelos que exigem muitos acessos à lista de postagens, mas permitindo um limite suave para ganhos de eficácia.

---

3. Principais Contribuições

1. Substituição do Vocabulário: Demonstram a viabilidade de substituir o espaço de saída de tokens por um espaço latente de conceitos semânticos aprendidos via SAE, mantendo a natureza esparsa e interpretável da recuperação.
2. Arquitetura SAE-SPLADE: Propõem e validam uma nova arquitetura que integra SAE e SPLADE, superando a dependência do vocabulário fixo do MLM.
3. Análise Multilíngue: Investigam a adaptabilidade do modelo em cenários multilíngues, mostrando que o vocabulário semântico do SAE melhora a transferência entre idiomas em comparação com o SPLADE tradicional.
4. Métrica E2: Introduzem uma métrica padronizada para comparar trade-offs de eficiência-eficácia em modelos de RI esparsa.
5. Análise Qualitativa: Fornecem evidências de que os latentes do SAE capturam unidades semânticas (como "métodos de cozimento" ou "astronomia") que agrupam sinônimos e desambiguam polissemias de forma mais robusta do que tokens individuais.

---

4. Resultados Experimentais

Desempenho em Tarefas Monolíngues (In-Domain e Out-of-Domain)

• Eficácia: O SAE-SPLADE atinge desempenho comparável ao SPLADE (e ao SPLADEv3) em conjuntos de dados in-domain (MS MARCO) e out-of-domain (TREC-DL, LoTTE, BEIR). Em alguns casos, supera o SPLADE em conjuntos BEIR.
• Eficiência: O modelo é significativamente mais eficiente.
  • Redução no QD-FLOPs (custo de recuperação): O SAE-SPLADE ($k=8$) apresenta QD-FLOPs de 0.67, comparado a 1.47 do SPLADE treinado nas mesmas condições.
  • Tamanho do Índice: Redução no comprimento médio do documento (Avg. Doc Len), indicando maior esparsidade.
• Trade-off: A métrica E2 mostra que o SAE-SPLADE oferece um equilíbrio superior, especialmente com valores de $k$ (número de latentes ativos) entre 4 e 16.

Desempenho Multilíngue

• Testado em 7 idiomas (incluindo latinos e não latinos) usando mMARCO e MIRACL.
• O SAE-SPLADE supera o SPLADE multilíngue em eficácia e eficiência.
• Esparsidade e Sobreposição: O modelo SAE-SPLADE apresenta uma maior sobreposição de latentes ativados entre diferentes idiomas (11.5% vs 8.6% no SPLADE), indicando melhor aprendizado de representações cruzadas, embora ainda mantenha uma parte significativa de latentes específicos por idioma.

Estudos de Ablação

• Camada do PLM: O uso da camada 6 (última camada antes da cabeça de transformação) do DistilBERT para alimentar o SAE foi identificado como o ideal.
• Tamanho do Vocabulário ($M$): Aumentar o número de latentes ($M$) trouxe ganhos marginais de eficácia, mas aumentou a latência de codificação. $M=2^{16}$ foi escolhido como ótimo.
• Variações do SAE: A variante TopK SAE simples funcionou tão bem quanto variantes mais complexas (Hierarchical e Matryoshka), sugerindo que a estruturação extra do espaço latente não é crítica para esta tarefa específica.
• Pré-treinamento: O pré-treinamento do SAE é crucial; o ajuste a partir de projeções aleatórias sem pré-treinamento resulta em desempenho inferior ou índices ineficientes.

---

5. Significado e Conclusão

O trabalho demonstra que SAE-SPLADE é uma alternativa viável e superior ao SPLADE tradicional em termos de eficiência, mantendo a eficácia de ponta.

• Superação de Limitações: Ao abandonar o vocabulário de tokens fixo, o modelo mitiga problemas de polissemia e sinonímia de forma mais natural, agrupando conceitos semanticamente relacionados em latentes únicos.
• Escalabilidade Multilíngue: A abordagem oferece uma base mais sólida para recuperação multilíngue, reduzindo a necessidade de vocabulários massivos específicos de cada idioma.
• Eficiência Operacional: A redução no QD-FLOPs e no tamanho do índice torna a recuperação em larga escala mais barata e rápida, aproximando-se da eficiência de modelos como BM25 com a eficácia de modelos neurais densos.

Limitações e Trabalhos Futuros:

• Ainda existe uma lacuna de desempenho em relação aos modelos multilíngues mais avançados (como MILCO) que utilizam alinhamento cruzado explícito.
• A integração de SAEs específicos para RI (alinhados ao objetivo de recuperação, e não apenas à reconstrução) é uma direção promissora.
• A combinação de vocabulário baseado em tokens (para correspondência exata) com vocabulário baseado em conceitos (SAE) pode ser o próximo passo para unificar correspondência lexical e semântica.

Em suma, o artigo valida o uso de Autoencoders Esparsificados como uma nova base para modelos de recuperação esparsa, transformando a recuperação de "tokens" para "conceitos".