H3Former: Hypergraph-based Semantic-Aware Aggregation via Hyperbolic Hierarchical Contrastive Loss for Fine-Grained Visual Classification

Resumen Técnico: H3Former

Planteamiento del Problema
La Clasificación Visual de Grano Fino (FGVC, por sus siglas en inglés) tiene como objetivo distinguir categorías subordinadas dentro de una clase general (por ejemplo, diferentes especies de aves). Esta tarea se ve dificultada por diferencias interclase sutiles, variaciones intraclase significativas y un complejo ruido de fondo. Los enfoques existentes generalmente se dividen en dos categorías:

1. Métodos basados en la selección de características: Dependen de Vision Transformers (ViTs) para seleccionar tokens informativos. Sin embargo, a menudo aíslan tokens discretos, fallando al capturar estructuras semánticas coherentes y pasando por alto las relaciones holísticas entre las partes.
2. Métodos basados en la propuesta de regiones: Generan regiones candidatas (a menudo mediante Redes de Propuesta de Regiones) y modelan relaciones de pares. Si bien mejoran la discriminabilidad de las características, frecuquentemente introducen información de fondo redundante y ajena a la categoría, y están limitados por las redes convolucionales de grafos convencionales, que solo pueden modelar dependencias de pares (dos nodos) en lugar de interacciones de grupo de orden superior.

El artículo argumenta que se necesita un enfoque unificado para cerrar la brecha entre el modelado a nivel de token y la representación a nivel de región, específicamente uno que pueda agregar adaptativamente los tokens en regiones semánticas coherentes mientras captura dependencias de orden superior.

Metodología
Los autores proponen H3Former, un marco de token-a-región que integra un Módulo de Agregación con Conciencia Semántica (SAAM) con una Pérdida de Contraste Jerárquica Hiperbólica (HHCL).

1. Módulo de Agregación con Conciencia Semántica (SAAM):

   • Generación de Contexto: El SAAM utiliza un Módulo de Generación de Contexto (CGM) para extraer pistas contextuales multiescala de las características del backbone (usando pooling promedio, max pooling y contexto ponderado por atención).
   • Aprendizaje de Prototipos de Hiperaristas: Estas pistas de contexto se utilizan para generar vectores de prototipos semánticos aprendibles. Estos prototipos actúan como "anclas semánticas" que representan los centroides de los clústeres semánticos latentes.
   • Construcción de Hipergrafo Dinámico: El modelo computa la similitud entre los tokens visuales y estos prototipos para construir un hipergrafo dinámico y ponderado. A diferencia de los grafos estándar donde las aristas conectan dos nodos, las hiperaristas en H3Former conectan múltiples tokens simultáneamente. Esto permite al modelo agrupar adaptativamente tokens semánticamente correlacionados (por ejemplo, todos los tokens que representan un "ala") en regiones coherentes sin anotaciones explícitas de las partes.
   • Paso de Mensajes: Un mecanismo de convolución de hipergrafos realiza un paso de mensajes bidireccional (de token a hiperarista y de hiperarista a token), refinando las características de los tokens al incorporar contexto semántico de orden superior.

2. Pérdida de Contraste Jerárquica Hiperbólica (HHCL):

   • Incrustación de Árbol Jerárquico: Las características de las regiones derivadas de SAAM se organizan en una estructura de árbol jerárquico mediante pooling por grupos, creando representaciones de múltiples niveles desde la semántica local de grano fino hasta conceptos globales abstractos.
   • Aprendizaje de Contraste de Espacio Dual: HHCL impone restricciones tanto en espacios Euclidianos como en espacios hiperbólicos de Lorentz.
     • Espacio Euclidiano: Utilizado para el aprendizaje de contraste por categoría para asegurar la discriminación métrica local.
     • Espacio Hiperbólico: Aprovechado por su propiedad de crecimiento exponencial, la cual es naturalmente adecuada para modelar estructuras jerárquicas de tipo árbol.
   • Preservación del Orden Parcial: Un término de pérdida específico asegura que los nodos padres en la jerarquía permanezcan más cerca de sus hijos en el espacio hiperbólico, manteniendo la coherencia estructural y transiciones semánticas suaves desde los detalles locales hacia los conceptos globales.

Contribuciones Clave

• Marco H3Former: Un novedoso marco de representación de token-a-región que estructura adaptativamente las pistas a nivel de token en representaciones de nivel de región semánticamente coherentes.
• SAAM: Un módulo que emplea hipergrafos para capturar relaciones de orden superior entre tokens, formando progresivamente regiones semánticamente coherentes sin depender de propuestas de regiones predefinidas o anotaciones de partes.
• HHCL: Una función de pérdida diseñada para mejorar las representaciones semánticas jerárquicas mediante la imposición de restricciones en espacios tanto euclidianos como hiperbólicos, mejorando la discriminabilidad de las clases y la consistencia estructural.
• Validación Empírica: Experimentos extensos en cuatro benchmarks estándar de FGVC (CUB-200-2011, NA-Birds, Stanford-Dogs y Oxford Flowers-101) demostrando un rendimiento de vanguardia (state-of-the-art).

Resultos Experimentales
Los autores reportan que H3Former logra una precisión superior en todos los conjuntos de datos probados en comparación con los métodos de vanguardia:

• CUB-200-2011: 92.7% de precisión (superando el mejor anterior de 91.8%).
• NA-Birds: 91.6% de precisión.
• Stanford-Dogs: 95.8% de precisión (una mejora significativa sobre el mejor anterior de 92.9%).
• Oxford Flowers-101: 99.7% de precisión.

Los estudios de ablación confirman que tanto SAAM como HHCL son complementarios; eliminar cualquiera de los dos provoca caídas en el rendimiento. Además, las visualizaciones de las hiperaristas aprendidas demuestran que el modelo resalta con éxito regiones semánticas discriminativas (por ejemplo, picos, alas, orejas) y que la estructura del hipergrafo se alinea bien con las partes del objeto incluso sin supervisión explícita de las partes.

Significancia y Reivindicaciones
El artículo afirma que H3Former aborda con éxito las limitaciones de los métodos de FGVC existentes al unificar la agregación de tokens con conciencia semántica y el aprendizaje de representación con conciencia geométrica. Su significancia radica en:

1. Cerrar la Brecha: Conecta efectivamente las pistas de tokens locales con las representaciones estructurales globales, yendo más allá de las limitaciones del modelado de grafos por pares y la selección de tokens aislados.
2. Modelado de Orden Superior: Al utilizar hipergrafos, el modelo captura dependencias semánticas complejas de grupo que los grafos estándar omiten.
3. Geometría Jerárquica: El uso del espacio hiperbólico para el aprendizaje de contraste jerárquico proporciona una geometría más natural para modelar las estructuras de tipo árbol inherentes a las jerarquías de categorías de grano fino.
4. Robustez: El marco demuestra robustez a través de diversos dominios (aves, perros, flores) y alta varianza intra-clase, logrando resultados de vanguardia con un costo computacional razonable en comparación con otros enfoques basados en transformers.

Los autores concluyen que su enfoque ofrece una organización semántica estructurada y de grano fino que mejora la generalización y la capacidad discriminativa en tareas de FGVC.