Seeing and Knowing in the Wild: Open-domain Visual Entity Recognition with Large-scale Knowledge Graphs via Contrastive Learning

1. El Problema: Reconocimiento de Entidades Visuales de Dominio Abierto (OVEN)

El artículo aborda el desafío del Reconocimiento de Entidades Visuales de Dominio Abierto (OVEN). A diferencia de las tareas de clasificación tradicionales que operan con un conjunto fijo de etiquetas, OVEN busca identificar y vincular entidades en imágenes a un universo vasto y en evolución de conceptos del mundo real (como los encontrados en Wikidata), identificados por sus QIDs únicos.

Desafíos principales:

• Condiciones de Conjunto Abierto: La mayoría de las entidades objetivo no se ven durante el entrenamiento (configuración zero-shot) y siguen una distribución de cola larga (muchas entidades son raras).
• Ambigüedad Semántica: Las entidades pueden tener nombres idénticos pero significados diferentes (ej. "Mercurio" como planeta vs. metal). Los métodos basados en coincidencia de texto simple fallan aquí.
• Pérdida de Información: Los enfoques de dos pasos (generar un texto descriptivo y luego buscar en una base de datos) sufren de pérdida de información al convertir contenido visual rico en etiquetas textuales simplificadas.
• Falta de Contexto Estructural: Los clasificadores visuales tradicionales tratan las entidades como etiquetas aisladas, ignorando las relaciones semánticas y el conocimiento factual entre ellas.

2. Metodología: KnowCoL (Knowledge-guided Contrastive Learning)

Los autores proponen KnowCoL, un marco de aprendizaje que integra conocimiento estructurado de grandes grafos de conocimiento (Wikidata) y bases de conocimiento (Wikipedia) en un espacio semántico compartido.

Arquitectura del Modelo

El sistema utiliza un paradigma de doble codificador (dual-encoder) que evita la pérdida de información de los métodos generativos de dos pasos.

1. Espacios de Incrustación (Embeddings):

   • Entrada: Se procesan pares de imagen ($x_p$) y consulta de texto ($x_t$).
   • Entidades: Cada entidad candidata tiene una descripción enciclopédica ($t_e$) y una o más imágenes principales ($I_e$) extraídas de Wikipedia/Wikidata.
   • Codificadores: Se utilizan codificadores CLIP preentrenados (fijos) para imágenes y texto, seguidos de capas de proyección lineal entrenables.
   • Fusión: La imagen y el texto de entrada se fusionan (mediante suma o MLP) para crear una representación conjunta $z_{input}$.

2. Incrustaciones de Grafos de Conocimiento (KGE):

   • Se mapean las entidades y relaciones de Wikidata a un espacio latente utilizando métodos de incrustación de grafos (como TransE).
   • Esto permite capturar la estructura jerárquica (ej. "es instancia de", "es subclase de") y las relaciones asociativas.

3. Función de Pérdida (Loss Function):
   El entrenamiento optimiza tres objetivos simultáneos para alinear los diferentes espacios semánticos:

   • Pérdida de Alineación ($L_a$): Une la representación de la entrada (imagen + texto) con la incrustación de la entidad correcta ($\phi(e)$).
   • Pérdida Proxy ($L_p$): Alinea las incrustaciones de los nodos del grafo ($\phi(e)$) con las representaciones multimodales de la entidad (texto + imagen principal). Esto asegura que el nodo del grafo capture la semántica visual y textual.
   • Pérdida de Incrustación de KG ($L_{KE}$): Utiliza una función de puntuación contrastiva para aprender las relaciones estructurales del grafo (tripletas $h, r, t$), asegurando que la estructura del conocimiento se preserve en el espacio latente.

   La pérdida total es: $L = L_a + \beta_1 L_p + \beta_2 L_{KE}$.

4. Inferencia:
   Dada una nueva imagen y consulta, el modelo calcula la similitud (coseno) entre la entrada y la media de las incrustaciones textuales e visuales de todas las entidades candidatas en Wikidata, seleccionando la entidad con mayor puntuación.

3. Contribuciones Clave

1. Enfoque Guiado por Conocimiento: Es el primer enfoque que utiliza un grafo de conocimiento a gran escala (Wikidata) para el reconocimiento de entidades visuales de dominio abierto, superando las limitaciones de los grafos de conocimiento específicos de dominio pequeños.
2. Generalización Zero-Shot Superior: El modelo demuestra una capacidad robusta para reconocer entidades nunca vistas durante el entrenamiento, aprovechando la similitud semántica y las relaciones estructurales del grafo.
3. Eficiencia y Escalabilidad: Logra un rendimiento superior con modelos significativamente más pequeños. Su modelo más pequeño (KnowCoL-L) es 35 veces más pequeño que los modelos generativos de última generación, pero supera su precisión en entidades no vistas.
4. Análisis de Conocimiento: Investiga exhaustivamente el impacto de diferentes tipos de conocimiento (imágenes principales, jerarquías de clases, relaciones de instancia) y estrategias de fusión.

4. Resultados Experimentales

Los experimentos se realizaron en el benchmark OVEN, que combina 14 conjuntos de datos de reconocimiento de imágenes y preguntas visuales.

• Rendimiento General: El modelo KnowCoL-bigG alcanzó una media armónica (HM) del 38.8% (combinando precisión en entidades vistas y no vistas), superando a los métodos más avanzados como Auto-VER-14B (28.9%) y PaLI-17B (16.0%), a pesar de tener 7 veces menos parámetros.
• Mejora en Entidades No Vistas (Zero-Shot):
  • KnowCoL mejoró la precisión en entidades no vistas en un 10.5% en comparación con el estado del arte.
  • El modelo pequeño (KnowCoL-L) logró un 31.5% de HM, superando a CLIPFusion (8.4%) y CLIP2CLIP (11.4%) usando la misma arquitectura base (ViT-L-14), demostrando que el conocimiento externo es el factor crítico.
• Análisis de Ablación:
  • Tipos de Conocimiento: Eliminar las imágenes principales o las relaciones jerárquicas ("instance of", "subclass of") degradó significativamente el rendimiento, especialmente en entidades no vistas.
  • Método de Fusión: La suma simple (Addition) funcionó mejor que métodos complejos (MLP, Transformers) para la generalización, ya que los métodos complejos tendían a sobreajustarse a las entidades vistas.
  • KGE: El uso de TransE con similitud de coseno (alineado con CLIP) fue superior a otras métricas como la distancia euclidiana o TransH.

5. Significado e Impacto

Este trabajo representa un avance significativo en la visión por computadora al demostrar que la integración de conocimiento estructurado externo es esencial para resolver problemas de reconocimiento en el mundo real, donde las etiquetas son infinitas y ambiguas.

• Cambio de Paradigma: Mueve el enfoque de la "reconocimiento superficial" (coincidencia de características visuales) al "entendimiento semántico" (alineación con conceptos y relaciones estructuradas).
• Eficiencia: Demuestra que no se necesitan modelos generativos masivos y costosos para lograr un alto rendimiento en tareas de dominio abierto; un enfoque contrastivo bien diseñado con conocimiento externo es más eficiente y efectivo.
• Aplicabilidad: El marco KnowCoL es escalable y adaptable, ofreciendo una solución viable para sistemas de visión que deben operar en entornos abiertos y dinámicos, como la robótica, la búsqueda de imágenes y la comprensión de escenas complejas.

En resumen, KnowCoL establece un nuevo estado del arte al combinar la potencia de los modelos de visión-lingüaje preentrenados con la riqueza semántica de los grafos de conocimiento, logrando una generalización superior sin sacrificar la eficiencia computacional.