Resumen Técnico: Aprendizaje Contrastivo con Restricción de Nivel para la Clasificación Visual Jerárquica de Grano Fino

1. Planteamiento del Problema

Los modelos de aprendizaje contrastivo multimodal, como CLIP, han demostrado capacidades sólidas en la clasificación visual zero-shot mediante la alineación de incrustaciones (embeddings) de imagen y texto. Sin embargo, estos modelos operan típicamente bajo una asunción de etiqueta plana, tratando todas las etiquetas de texto que no coinciden como ejemplos negativos iguales. Esta asunción se desmorona cuando se aplica a espacios de etiquetas jerárquicamente estructurados (por ejemplo, taxonomías biológicas).

En entornos jerárquicos, el aprendizaje contrastivo estándar genera señales de supervisión conflictivas. Por ejemplo, mientras que un león (Panthera leo) y un lobo (Canis lupus) son distintos a nivel de especie y género, comparten ancestros de nivel superior (por ejemplo, el orden Carnivora). En una configuración de aprendizaje contrastivo de etiqueta plana estándar, la etiqueta de texto para "lobo" podría ser tratada como un negativo para una imagen de un "león", a pesar de que son semánticamente compatibles al nivel de orden. Esto crea falsos negativos a través de los niveles taxonómicos, lo que conduce a una inconsistencia jerárquica donde la etiqueta de grano fino predicha por el modelo no pertenece a su categoría de nivel superior predicha.

2. Metodología

Los autores proponen un marco de Aprendizaje Contrastivo con Restricción de Nivel diseñado para eliminar los falsos negativos entre niveles y asegurar una optimización equilibrada a través de la taxonomía.

2.1. Formulación del Problema

La taxonomía se define como un conjunto $\mathcal{T} = (C_1, \dots, C_L)$ con $L$ niveles jerárquicos (de grueso a fino). Cada imagen $x_i$ está asociada con un vector de etiqueta taxonómica $t_i = (t_i^1, \dots, t_i^L)$.

• Construcción de Texto: Para cada nivel $\ell$, se construye una etiqueta de texto $y_i^\ell$ que contiene el prefijo taxonómico hasta ese nivel: $y_i^\ell = (t_i^1, \dots, t_i^\ell)$.
• Codificación: Las imágenes y las etiquetas de texto son codificadas mediante codificadores de imagen ($f$) y de texto ($g$) basados en CLIP para producir incrustaciones $v_i$ y $z_i^\ell$, respectivamente.

2.2. Pérdida Contrastiva con Restricción de Nivel

En lugar de realizar una pérdida contrastiva conjunta sobre todos los niveles, el objetivo se descompone en comparaciones independientes dentro de cada nivel taxonómico.

• Comparación Intra-Nivel: La pérdida contrastiva se calcula por separado para cada nivel $\ell$. Una etiqueta de nivel de especie se compara únicamente contra otras etiquetas de nivel de especie, evitando la ambigüedad de comparar especies contra órdenes o reinos.
• Supervisión Equilibrada por Grupos: Para manejar mini-batches donde múltiples imágenes pueden compartir la misma etiqueta de nivel grueso (por ejemplo, dos especies diferentes del mismo Reino), el método agrega las etiquetas. Todos los pares imagen-texto que comparten la misma etiqueta en un nivel específico son tratados como pares positivos.
  • Pérdida de Imagen-a-Texto ($L_{I \to T}$): Calcula la similitud entre una incrustación de imagen y el conjunto de incrustaciones de texto únicas en ese nivel.
  • Pérdida de Texto-a-Imagen ($L_{T \to I}$): Calcula la similitud entre un ancla de texto y el conjunto de incrustaciones de imagen que comparten esa etiqueta.
• Objetivo Final: La pérdida total es el promedio de las pérdidas en todos los $L$ niveles:
  $$\mathcal{L} = \frac{1}{L} \sum_{\ell=1}^{L} \mathcal{L}_\ell$$
  Este pesaje igualitario asegura que los niveles de grano fino reciban una supervisión suficiente y no sean dominados por señales de nivel grueso de alta confianza.

2.3. Detalles de Implementación

• Modelo Base: El marco ajusta (fine-tunes) BioCLIP (un modelo fundacional pre-entrenado en el Árbol de la Vida).
• Datos de Entrenamiento: El modelo es entrenado en TreeOfLife-10M.
• Espacios de Incrustación: El método se instancia tanto en espacios Euclidianos como Hiperbólicos, ofreciendo este último ventajas potenciales para representar estructuras jerárquicas.

3. Contribuciones Clave

1. Identificación de Falsos Negativos: El artículo identifica que tratar las etiquetas de ancestro-descendiente como negativas en el aprendizaje contrastivo estándar crea señales conflictivas que violan la asunción de etiqueta plana.
2. Marco de Restricción de Nivel: Una novedosa receta de entrenamiento que restringe las comparaciones contrastivas a etiquetas dentro del mismo nivel taxonómico, asegurando pares positivos y negativos bien definidos.
3. Diseño Equilibrado por Grupos: Un mecanismo para manejar colisiones de etiquetas en mini-batches tratando todos los ejemplos con la misma etiqueta en un nivel específico como positivos, evitando el sesgo hacia categorías gruesas frecuentes.
4. Validación Empírica: Evaluación extensiva a través de múltiples benchmarks jerárquicos demostrando una mejora en la precisión y la consistencia jerárquica.

4. Resultados Experimentales

El modelo fue evaluado en tres benchmarks: iNaturalist 2021 (iNat21), Rare Species y CrypticBio.

4.1. Mejoras en la Precisión

• iNat21: El método propuesto mejoró la precisión promedio en todos los niveles taxonómicos en un 30.47% respecto a la línea base de BioCLIP.
• Comparación: El método superó a OpenCLIP, BioCLIP y RCME (un método previo orientado a la jerarquía) en todos los conjuntos de datos.
• Granularidad: Se observaron ganancias significativas en niveles intermedios (Orden a Género), donde la pérdida contrastiva estándar suele sufrir más debido a la ambigüedad entre niveles. El rendimiento a nivel de especie también mejoró a pesar de que la optimización no se centró únicamente en ese nivel.

4.2. Consistencia Jerárquica

• Inferencia con Restricción Top-Down: Bajo un protocolo estricto donde las predicciones proceden de lo general a lo particular (restringiendo los candidatos a descendientes válidos), el método mantuvo un rendimiento superior.
• LCA Normalizado (nLCA): La variante hiperbólica logró una puntuación nLCA de 0.71 en comparación con el 0.43 de RCME, lo que indica que incluso cuando la etiqueta de especie exacta es incorrecta, la predicción permanece más cerca de la rama taxonómica correcta.
• Comparación de Espacios: La variante Euclidiana funcionó mejor en iNat21, mientras que la variante Hiperbólica mostró un mayor rendimiento en Rare Species y CrypticBio, particularmente en los niveles taxonómicos más profundos.

4.3. Visualización

Las visualizaciones de t-SNE de las incrustaciones de texto revelaron que el método propuesto produce una estructura jerárquica más clara con una menor mezcla entre niveles en comparación con BioCLIP. Las categorías hermanas están más claramente separadas, y las incrustaciones de niveles taxonómicos cercanos forman grupos coherentes.

5. Significado y Reivindicaciones

El artículo afirma que el marco de Aprendizaje Contrastivo con Restricción de Nivel propuesto resuelve eficazmente el problema de la inconsistencia jerárquica en modelos multimodales. Al restringir las comparaciones a conjuntos de etiquetas mutuamente excluyentes dentro del mismo nivel taxonómico y equilibrar la supervisión en todos los niveles, el método:

• Elimina las señales de supervisión conflictivas causadas por los falsos negativos en espacios jerárquicos.
• Mejora simultáneamente tanto la precisión de clasificación plana como la consistencia jerárquica.
• Promueve la emergencia de relaciones jerárquicas estructuradas en el espacio de incrustación sin requerir objetivos geométricos complejos o arquitecturas especializadas más allá de la reformulación contrastiva.

Los autores enfatán que este enfoque es particularmente efectivo para la clasificación zero-shot en dominios con taxonomías complejas, como la biodiversidad, donde mantener la consistencia lógica a través de los niveles es crítico para la aplicabilidad en el mundo real.