Hierarchical Semantic Retrieval with Cobweb

Título: Recuperação Semântica Hierárquica com Cobweb

Autores: Anant Gupta, Karthik Singaravadivelan, Zekun Wang (Georgia Institute of Technology)
Publicação: Advances in Cognitive Systems 12 (2025)

---

1. Problema

Os sistemas modernos de recuperação de documentos neurais (como os baseados em BERT, T5 ou GPT) tratam o corpus de dados como uma "nuvem plana" de vetores no espaço euclidiano. A relevância é calculada geralmente através de uma única medida de similaridade (como o produto escalar ou cosseno) em uma única granularidade. Essa abordagem apresenta duas limitações principais:

1. Subutilização da Estrutura: Ignora a estrutura hierárquica inerente aos tópicos e subtemas dentro do corpus.
2. Opacidade: Falta de explicabilidade; o sistema não fornece um raciocínio transparente sobre por que um documento foi classificado como relevante.
3. Fragilidade em Embeddings Anisotrópicos: Métodos baseados em produto escalar tendem a falhar catastróficamente quando utilizam representações de modelos geracionais (como GPT-2), que não são otimizados para similaridade semântica isotrópica.

2. Metodologia

O trabalho propõe o uso do Cobweb, um framework de aprendizado de máquina inspirado na cognição humana (clustering conceitual incremental), adaptado para a recuperação de documentos densos.

Arquitetura e Treinamento

• Base de Dados Hierárquica: O corpus é organizado em uma árvore de protótipos. Os nós internos atuam como "protótipos conceituais" que resumem estatisticamente seus descendentes, enquanto as folhas armazenam os documentos originais.
• Algoritmo: Utiliza-se o Cobweb/4V, uma versão estendida que suporta características contínuas (vetores densos). O algoritmo constrói a hierarquia incrementalmente, maximizando a "Utilidade da Categoria" (Category Utility - CU), que equilibra a previsibilidade e a distintividade dos clusters.
• Pré-processamento (Whitening): Como as embeddings neurais frequentemente possuem correlações fortes entre dimensões (violando a suposição de independência condicional do Cobweb), o artigo aplica técnicas de "branqueamento" (whitening), como PCA e ICA. Isso transforma as distribuições anisotrópicas em distribuições mais isotrópicas e esféricas, essenciais para o funcionamento dos parâmetros gaussianos do Cobweb.
• Modelos de Embedding: O estudo compara três famílias de Transformers:
  • Encoder-only: BERT/RoBERTa.
  • Encoder-Decoder: T5.
  • Decoder-only: GPT-2 (usado como baseline desafiador devido à sua natureza generativa).

Estratégias de Inferência (Recuperação)

Dois métodos de busca foram propostos para navegar na árvore aprendida:

1. Busca Best-First Generalizada (Cobweb-BFS): Uma busca gulosa que expande até $N_{max}$ nós com base na pontuação de colocalização, explorando múltiplos ramos promissores antes de chegar às folhas.
2. Ranking por Soma de Caminho (Cobweb-PathSum): Classifica os documentos (folhas) somando os log-scores de todos os nós internos ao longo do caminho da raiz até a folha. Isso agrega sinais de relevância em múltiplas granularidades.

3. Principais Contribuições

1. Recuperação Hierárquica: Introdução de métodos que compõem similaridades de protótipos em uma árvore aprendida, generalizando a correspondência vetorial plana para relevância multinível.
2. Interpretabilidade: A estrutura da árvore fornece um "rastro de auditoria" transparente, onde os nós internos explicam os conceitos que agrupam os documentos relevantes.
3. Robustez a Qualidade de Embeddings: Demonstração de que a abordagem hierárquica é robusta mesmo quando as embeddings são de baixa qualidade ou anisotrópicas (como as do GPT-2), onde os métodos tradicionais de produto escalar falham.
4. Validação Empírica: Avaliação abrangente nos conjuntos de dados MS MARCO e QQP, utilizando diferentes arquiteturas de modelos.

4. Resultados

Os experimentos foram realizados em MS MARCO (recuperação de passagens) e QQP (identificação de paráfrases).

• Desempenho com Embeddings Fortes (RoBERTa/T5):
  • Os métodos Cobweb (BFS e PathSum) alcançaram desempenho comparável ao produto escalar otimizado (FAISS) em métricas como Recall@k, MRR e nDCG.
  • A aplicação de whitening foi crucial para o Cobweb, melhorando drasticamente seus resultados (ex: Recall@5 no QQP com RoBERTa saltou de 11% para 85,9% com whitening). Curiosamente, o produto escalar não se beneficiou do whitening nestes modelos, pois suas embeddings já são otimizadas para similaridade de produto escalar.
• Robustez com Embeddings Generativos (GPT-2):
  • Falha do Baseline: O produto escalar com embeddings GPT-2 colapsou (0% de recall em MS MARCO), pois as embeddings não capturam bem a similaridade semântica direta.
  • Sucesso do Cobweb: As abordagens hierárquicas conseguiram recuperar documentos relevantes com GPT-2 (ex: 35% de Recall@5 no QQP), demonstrando que a agregação em múltiplos níveis da hierarquia compensa a anisotropia das embeddings.
• Escalabilidade e Eficiência:
  • A qualidade da recuperação manteve-se consistente à medida que o tamanho do corpus aumentou (de 5k para 40k documentos), comparável ao FAISS.
  • Tempo de Execução: O método PathSum é altamente paralelizável e 20-100x mais rápido que a busca BFS em cenários práticos, embora ambos tenham complexidade assintótica similar $O(ND)$ no pior caso.

5. Significado e Conclusão

O trabalho demonstra que a recuperação de documentos não precisa ser limitada a buscas vetoriais planas. Ao adotar uma estrutura hierárquica baseada em protótipos (Cobweb):

• Interpretabilidade: É possível entender a relevância através do caminho percorrido na árvore de conceitos.
• Resiliência: O sistema torna-se robusto a falhas de modelos de embedding específicos (como GPT-2), oferecendo uma alternativa viável quando os embeddings padrão falham.
• Futuro: O artigo sugere que a integração de whitening diretamente no treinamento do modelo e a criação de aproximações diferenciáveis do Cobweb são direções promissoras para otimizar ainda mais a eficiência e a precisão.

Em suma, o Cobweb oferece uma ponte entre a recuperação densa de alto desempenho e a organização semântica humana, proporcionando sistemas de busca mais explicáveis e robustos.