Free-Grained Hierarchical Visual Recognition

Resumen Técnico: Reconocimiento Visual Jerárquico de Granularidad Libre

1. Planteamiento del Problema

El reconocimiento de imágenes jerárquico tradicional busca predecir etiquetas de clase a lo largo de una taxonomía semántica (desde categorías amplias hasta específicas, ej. Pájaro $\to$ Ave de presa $\to$ Águila calva). Sin embargo, la mayoría de los métodos existentes asumen una supervisión completa, donde cada imagen de entrenamiento está anotada en todos los niveles de la jerarquía.

En la realidad, las anotaciones son "desordenadas" y varían en granularidad debido a:

• Ambigüedad visual intrínseca: Una imagen distante puede justificar solo la etiqueta "Pájaro", mientras que un primer plano permite "Águila calva".
• Restricciones extrínsecas: Costos de anotación, falta de expertise o protocolos cambiantes.

El problema central: ¿Cómo entrenar modelos que aprendan de etiquetas incompletas y mixtas (donde algunas imágenes tienen etiquetas finas y otras solo gruesas) y que, al inferir, puedan decidir dinámicamente hasta qué nivel de la jerarquía predecir con confianza, manteniendo la consistencia taxonómica?

2. Metodología Propuesta

Los autores proponen un nuevo paradigma llamado "Free-Grained Learning" (Aprendizaje de Granularidad Libre) y dos métodos principales para abordarlo:

A. Nuevos Benchmarks (Conjuntos de Datos)
Para evaluar este escenario, se construyeron datasets que simulan anotaciones realistas:

• ImageNet-3L: Se reestructuró ImageNet (originalmente basado en WordNet con jerarquías irregulares) en una taxonomía limpia de tres niveles: Básico (ej. Perro), Subordinado (ej. Perro de caza) y Fino (ej. Golden Retriever).
• Variantes de Granularidad Mixta:
  • Basadas en Fundamentos (ImageNet-F, CUB-F, iNat21-mini-F): Se utilizan modelos de visión-lingüaje (CLIP, BioCLIP) para "podar" las etiquetas. Si el modelo no puede predecir con confianza un nivel fino, la etiqueta se reduce a un nivel más grueso, simulando la ambigüedad visual humana.
  • Variantes Aleatorias (CUB-Rand, Aircraft-Rand): Se eliminan etiquetas aleatoriamente para probar la robustez bajo diferentes niveles de escasez de datos.

B. Métodos de Aprendizaje
Se proponen dos estrategias para compensar la falta de supervisión en ciertos niveles:

1. Text-Attr (Guía Semántica con Atributos Pseudo-textuales):

   • Utiliza un modelo de visión-lingüaje (VLM) congelado (Llama-3.2) para generar descripciones de texto de la imagen (ej. "patas cortas", "orejas puntiagudas").
   • Estas descripciones se codifican y se alinean con las representaciones visuales mediante una pérdida de contraste.
   • Objetivo: Aprender atributos visuales compartidos que son consistentes a través de los niveles jerárquicos, actuando como supervisión auxiliar cuando faltan etiquetas finas.

2. Taxon-SSL (Aprendizaje Semi-supervisado Guiado por Taxonomía):

   • Trata las etiquetas faltantes en niveles específicos como datos no etiquetados.
   • Genera pseudo-etiquetas para los niveles no anotados basándose en la consistencia jerárquica.
   • Utiliza un contraste alineado a la taxonomía: solo considera pares de imágenes como positivos si coinciden en todos los niveles de la jerarquía (desde lo grueso hasta lo fino), filtrando así el ruido de pseudo-etiquetas inconsistentes.

C. Inferencia de Granularidad Libre
En lugar de forzar una predicción fina siempre que sea posible, el modelo elige adaptativamente la profundidad de la predicción:

• Se propone una estrategia basada en consistencia: detener la predicción en el nivel más profundo posible que mantenga la coherencia con los niveles superiores, en lugar de detenerse solo por umbral de confianza (que puede ser inestable).

3. Contribuciones Clave

1. Definición de la Tarea: Introducción del "Reconocimiento Visual Jerárquico de Granularidad Libre", donde las etiquetas de entrenamiento pueden aparecer en cualquier nivel y la inferencia es adaptativa.
2. Benchmarks Escalables: Creación de ImageNet-3L y sus variantes (F y Rand), proporcionando el primer conjunto de datos a gran escala para este problema, superando las limitaciones de datasets pequeños como CUB o Aircraft.
3. Métodos SOTA: Desarrollo de Text-Attr y Taxon-SSL, que superan significativamente a los clasificadores jerárquicos existentes (como HRN y H-CAST) en escenarios de supervisión mixta.
4. Análisis de Inferencia: Demostración de que la inferencia basada en consistencia jerárquica produce predicciones más fiables y profundas que los métodos basados puramente en confianza.

4. Resultados Experimentales

• Degradación de Métodos Existentes: Los métodos SOTA actuales (H-CAST, HRN) sufren caídas drásticas (hasta un 40% en precisión de ruta completa) cuando se entrenan con etiquetas mixtas, demostrando que no están diseñados para esta realidad.
• Rendimiento de los Nuevos Métodos:
  • En ImageNet-F (datos grandes y diversos), Text-Attr (especialmente combinado con H-CAST) alcanza una precisión de ruta completa (FPA) del 63.2%, superando a H-CAST base (57.6%) y a HRN (37.8%).
  • En iNat21-mini-F (dominio biológico con clases muy similares), Taxon-SSL es superior (31.9% FPA), aprovechando la propagación de etiquetas estructurada cuando la diversidad visual es menor.
  • Combinación: La fusión de ambos métodos ofrece mejoras consistentes, aunque modestas, en la mayoría de los casos.
• Análisis de Escasez:
  • Text-Attr brilla cuando hay abundancia de datos y diversidad visual, ya que las descripciones de texto enriquecen las características.
  • Taxon-SSL es más robusto en escenarios de extrema escasez de etiquetas (ej. solo 10% de etiquetas finas), donde la propagación de consistencia semi-supervisada es crucial.
• Inferencia: La estrategia de parada basada en consistencia logra alcanzar niveles más profundos de la jerarquía con mayor precisión que la parada basada en confianza.

5. Significado e Impacto

Este trabajo es fundamental porque cierra la brecha entre la teoría del reconocimiento jerárquico y la práctica del mundo real.

• Realismo: Reconoce que las anotaciones perfectas son la excepción, no la regla, y propone métodos que son robustos a la ambigüedad y la incompletitud de los datos.
• Escalabilidad: Al reestructurar ImageNet para jerarquías limpias, permite aplicar estos conceptos a grandes escalas de datos, algo que antes no era viable con taxonomías desordenadas como WordNet.
• Flexibilidad: El enfoque de inferencia adaptativa permite que los sistemas de IA ofrezcan respuestas útiles (etiquetas gruesas correctas) en lugar de predicciones finas erróneas, lo cual es vital para aplicaciones prácticas donde la precisión es prioritaria sobre el detalle innecesario.

En resumen, el artículo establece un nuevo estándar para el reconocimiento jerárquico, proporcionando los datos, las métricas y los algoritmos necesarios para entrenar modelos que entiendan y operen en entornos de anotación imperfecta y mixta.