Hierarchical Semantic Retrieval with Cobweb

1. Planteamiento del Problema

Los sistemas actuales de recuperación de documentos neuronales suelen tratar el corpus como una "nube plana" de vectores en un espacio euclidiano, donde la relevancia se calcula mediante una única medida de similitud (generalmente el producto punto) a una sola granularidad. Este enfoque presenta dos limitaciones principales:

• Subutilización de la estructura: Ignora la estructura inherente de temas y subtemas del corpus.
• Opacidad: Las decisiones de recuperación son difíciles de interpretar, ya que no ofrecen una justificación lógica sobre por qué un documento es relevante.
• Fragilidad ante la calidad de los embeddings: Los métodos basados en producto punto son altamente dependientes de la calidad y la isotropía de los vectores. Por ejemplo, con embeddings generados por modelos decodificadores (como GPT-2), el rendimiento del producto punto colapsa debido a la distribución anisotrópica de los vectores.

2. Metodología

El trabajo propone adaptar Cobweb, un marco de aprendizaje cognitivo clásico basado en prototipos y jerarquías, para la recuperación de documentos densos.

A. Representación y Preprocesamiento

• Embeddings: Se utilizan representaciones de oraciones derivadas de modelos Transformer (BERT/RoBERTa, T5 y GPT-2).
• Blancado (Whitening): Dado que Cobweb/4V asume una estructura de covarianza diagonal (independencia de características) y los embeddings neuronales suelen tener dimensiones correlacionadas, se aplica un preprocesamiento de whitening (usando PCA e ICA). Esto transforma los vectores para que sean más adecuados para la distribución gaussiana diagonal requerida por el algoritmo, eliminando dependencias de características.

B. Construcción de la Jerarquía (Entrenamiento)

• Algoritmo: Se utiliza Cobweb/4V, que construye incrementalmente un árbol de clasificación.
• Estructura:
  • Nodos Internos: Actúan como prototipos conceptuales. No almacenan documentos crudos, sino parámetros gaussianos ($\mu, \sigma^2$) que resumen estadísticamente a sus descendientes.
  • Hojas: Almacenan los documentos originales (vectores de entrada).
• Métrica de Utilidad: El algoritmo decide crear, fusionar, dividir o insertar nodos maximizando la "Utilidad de Categoría" (Category Utility), que equilibra la predictibilidad y la distintividad de los conceptos.

C. Estrategias de Inferencia (Recuperación)

Se proponen dos métodos para navegar el árbol y recuperar documentos:

1. Búsqueda Mejor Primero Generalizada (Cobweb-BFS): Comienza en la raíz y expande los nodos con mayor puntuación de colocalización ($s(c) = p(x|c)^2$) de manera voraz, explorando múltiples ramas prometedoras hasta encontrar las hojas.
2. Ranking por Suma de Ruta (Cobweb-PathSum): Clasifica los documentos (hojas) sumando los logaritmos de las puntuaciones de colocalización a lo largo de la ruta desde la raíz hasta la hoja. Esto agrega señales de relevancia a múltiples niveles de granularidad.

3. Contribuciones Clave

1. Recuperación Jerárquica: Introducen un enfoque que generaliza la coincidencia de vectores planos a una coincidencia de relevancia multinivel, utilizando un árbol de prototipos aprendido.
2. Interpretabilidad: Al exponer los prototipos de nivel intermedio y las rutas de recuperación, el sistema proporciona una justificación transparente (explicabilidad) de por qué se recuperó un documento.
3. Robustez ante Embeddings Anisotrópicos: Demuestran que su enfoque es robusto incluso cuando los embeddings son de baja calidad o anisotrópicos (como los de GPT-2), donde los métodos tradicionales de producto punto fallan estrepitosamente.
4. Escalabilidad: Validan que el enfoque escala eficientemente en complejidad temporal y tamaño de datos, manteniendo la calidad de recuperación.

4. Resultados Experimentales

Los experimentos se realizaron en los conjuntos de datos MS MARCO (búsqueda web) y QQP (identificación de parafraseo), utilizando embeddings de BERT, T5 y GPT-2.

• Rendimiento con Embeddings de Alta Calidad (RoBERTa/T5):

  • Los métodos Cobweb (BFS y PathSum) logran un rendimiento comparable al producto punto (FAISS), alcanzando métricas como Recall@10 y MRR similares (ej. ~87-91% de Recall en QQP).
  • Cobweb-PathSum muestra un tiempo de ejecución más rápido que BFS debido a su menor complejidad computacional.

• Rendimiento con Embeddings Anisotrópicos (GPT-2):

  • Producto Punto (FAISS): Colapsa completamente (Recall ~0-20%), incapaz de recuperar documentos relevantes.
  • Cobweb: Mantiene una recuperación robusta y significativa (Recall ~35-42% en QQP), demostrando que la agregación multinivel de similitudes a lo largo de la jerarquía compensa la mala geometría de los vectores.

• Escalabilidad:

  • Al aumentar el tamaño del corpus (de 5k a 40k documentos), la degradación del rendimiento de Cobweb es paralela a la de FAISS, manteniendo una brecha de rendimiento casi constante.
  • Eficiencia: Cobweb-PathSum es 20-100 veces más rápido que Cobweb-BFS en la práctica, aunque ambos tienen una complejidad teórica similar ($O(ND)$) en el peor de los casos.

5. Significado y Conclusión

Este trabajo es significativo porque cierra la brecha entre la recuperación de alta densidad (neural) y la organización semántica humana.

• Interpretabilidad: Transforma la "caja negra" de la búsqueda vectorial en un proceso auditable donde cada paso de recuperación se basa en conceptos intermedios comprensibles.
• Resiliencia: Ofrece una solución viable para utilizar modelos generativos (como GPT) en tareas de recuperación sin necesidad de reentrenarlos específicamente para embeddings isotrópicos, simplemente aprovechando su estructura jerárquica.
• Futuro: Sugiere que la integración de la utilidad de categorías en el entrenamiento de modelos (en lugar de solo en el post-procesamiento) podría llevar a espacios latentes isotrópicos naturales, mejorando aún más la eficiencia de la recuperación.

En resumen, Cobweb demuestra que organizar documentos en una jerarquía de prototipos no solo mejora la explicabilidad, sino que también actúa como un amortiguador robusto contra las deficiencias geométricas de ciertos embeddings neuronales, manteniendo la eficacia de búsqueda a gran escala.