Resumen Técnico: Atajos de Baja Frecuencia en el Aprendizaje Visual Impulsado por Texturas

Planteamiento del Problema

Las redes neuronales son propensas al aprendizaje de atajos (shortcut learning), donde los modelos aprenden características que funcionan bien en los datos de entrenamiento pero fallan al generalizar a conjuntos de prueba de distribución interna (ID) o de distribución externa (OOD). Mientras que la investigación existente sobre el aprendizaje de atajos y el sesgo espectral se ha centrado principalmente en benchmarks de impulso por forma (shape-driven) estándar (p. ej., CIFAR-10, ImageNet) donde la clasificación depende de las formas globales de los objetos, muchos dominios de aplicación del mundo real son impulsados por texturas. En estos dominios (p. ej., histopatología, clasificación de textiles, reconocimiento de terrenos terrestres), la "forma" está mal definida o es irrelevante, y la clasificación depende de patrones espaciales repetitivos y de grano fino.

El artículo investiga si el aprendizaje de atajos se manifiesta de manera diferente en los dominios impulsados por texturas en comparación con los benchmarks estándar. Específicamente, plantea: ¿Dependen los modelos impulsados por texturas de componentes de frecuencia específicos que actúan como atajos, y cómo afecta esta dependencia a la robustez ante corrupciones OOD?

Metodología

Los autores emplean un marco de diagnóstico basado en la frecuencia utilizando la Transformada de Coseno Discreta (DCT) para analizar la dinámica de aprendizaje.

1. Pipeline de Poda de Frecuencias:

   • Las imágenes se transforman al dominio de la frecuencia.
   • Los componentes de frecuencia se agrupan en diagonales (de la esquina superior izquierda a la inferior derecha), donde las tasas de oscilación y la complejidad espacial aumentan.
   • Los autores aplican estrategias de poda eliminando conjuntos específicos de diagonales: Componentes de Baja Frecuencia (LFCs), Componentes de Frecuencia Media (MFCs) y Componentes de Alta Frecuencia (HFCs).
   • Tanto los conjuntos de entrenamiento como los de prueba se podan según la estrategia, y los modelos se entrenan desde cero para evaluar el impacto en el rendimiento ID y OOD.

2. Análisis del Comportamiento Espectral:

   • Contribuciones de Precisión: Los autores miden la "contribución de precisión" de los componentes de frecuencia individuales podándolos uno a uno del conjunto de prueba y atribuyendo la caída de precisión resultante a ese componente.
   • Definición de Atajo de Baja Frecuencia: Un fenómeno donde las contribuciones de precisión de un modelo se concentran en un pequeño número de LFCs, a pesar de que la información de clasificación reside en detalles de alta frecuencia y grano fino.

3. Configuración Experimental:

   • Datasets: Se utilizaron seis conjuntos de datos: SP-Colorectal (histopatología), TextileNet (textiles), GTOS (terreno terrestre), GalaxyMNIST, EuroSAT (uso de suelo) y CIFAR-10 (benchmark estándar).
   • Modelos: ResNet-50, MobileNet-V3, ViT-Small, ViT-Tiny y modelos fundacionales (DinoV2, CLIP).
   • Corrupciones OOD: Se utilizaron corrupciones de ImageNet-C, categorizadas en baja frecuencia (niebla), alta frecuencia (desenfoque gaussiano) y mixtas (transformación elástica).

Hallazgos Clave y Resultados

1. Existencia de Atajos de Baja Frecuencia en Dominios Impulsados por Texturas

• Comportamiento Espectral Sesgado: En los dominios impulsados por texturas (SP-Colorectal, TextileNet, GTOS), los modelos entrenados con datos no podados exhiben un comportamiento espectral altamente sesgado. Toman la mayoría de sus decisiones basándose en unos pocos Componentes de Baja Frecuencia (LFCs).
• Contraste con Datos Impulsados por Forma: A diferencia de CIFAR-10, donde las contribuciones de precisión están más equilibradas en todo el espectro (dependiendo de estructuras suaves que definen la forma), las tareas impulsadas por texturas dependen de los LFCs (p. ej., sombreado de fondo, efectos de cámara) a pesar de que la información discriminativa reside en patrones de alta frecuencia y grano fino.
• Persistencia: Este comportamiento de atajo es persistente a través de diferentes arquitecturas de modelos (CNN y Transformers), tamaños, hiperparámetros y optimizadores. También afecta a los modelos de visión fundacionales preentrenados (DinoV2) y modelos de lenguaje (CLIP), aunque la severidad varía.

2. Impacto de la Poda de LFCs en el Rendimiento ID

• Eliminación de Atajos: La poda de los LFCs tanto de los conjuntos de entrenamiento como de los de prueba obliga al modelo a depender de características de mayor frecuencia.
• Mejora de la Precisión: Esta intervención elimina el atajo y proporciona un comportamiento espectral más equilibrado, lo que resulta en una mejora de hasta un 8% en la precisión ID para tareas impulsadas por texturas.
• Compromiso (Trade-off): Para tareas impulsadas por la forma como CIFAR-10, la poda de los LFCs reduce la precisión ID porque el modelo pierde el acceso a las estructuras suaves de baja frecuencia que definen las formas de los objetos.

3. Impacto en la Robustez OOD

• Vulnerabilidad a Corrupciones de Baja Frecuencia: Los modelos que exhiben atajos de baja frecuencia son altamente vulnerables a las corrupciones OOD que modifican las bajas frecuencias (p. ej., niebla). Esto conduce a caídas de precisión de hasta un 70% en comparación con el rendimiento ID.
• Mejora de la Robustez mediante la Poda: La poda de los LFCs mejora significativamente la robustez ante corrupciones de baja frecuencia (p. ej., niebla), logrando una precisión OOD hasta un 40% mayor. Al eliminar la dependencia de los LFCs corruptos, el modelo se vuelve más robusto.
• Compromiso con las Corrupciones de Alta Frecuencia: La mejora en la robustez conlleva un compromiso. A medida que los modelos se ven obligados a depender más de las características de alta frecuencia (debido a la poda de LFCs), se vuelven más vulnerables a las corrupciones de alta frecuencia (p. ej., desenfoque gaussiano). La precisión OOD final depende de la interacción entre la mejora de la generalización mediante un comportamiento espectral equilibrado y la mayor sensibilidad al ruido de alta frecuencia.

4. Diferencias en la Arquitectura de los Modelos

• ViTs vs. CNNs: Los Vision Transformers (ViTs) exhiben un sesgo más fuerte hacia las características de baja frecuencia que las CNNs. En dominios con ruido de baja frecuencia severo (p. ej., TextileNet con sus fondos blancos y formas corporales), los ViTs sufren más severamente por los atajos de baja frecuencia. En consecuencia, la poda de los LFCs a veces disminuye la precisión ID para los ViTs en estas tareas específicas, mientras que mejora consistentemente el rendimiento para las CNNs.

Significancia y Reivindicaciones

El artículo afirma identificar y caracterizar un tipo específico de aprendizaje de atajos —atajos de baja frecuencia— que es prevalente en dominios impulsados por texturas pero distinto de los atajos basados en la forma observados en los benchmarks estándar.

• Novedad: El trabajo extiende el análisis de frecuencia más allá de los conjuntos de datos estándar centrados en objetos hacia dominios de aplicación críticos donde la textura es la clave semántica principal.
• Mecanismo: Demuestra que el sesgo de simplicidad causa que los modelos se aferren a unas pocas características simples de baja frecuencia (fondos, iluminación) en lugar de las complejas texturas de alta frecuencia requeridas para la tarea.
• Solución: Los autores proponen la poda de frecuencia (específicamente de los LFCs) como una técnica de regularización simple y efectiva. Este método no solo mitiga el aprendizaje de atajos, sino que también mejora tanto la precisión ID como la robustez ante corrupciones OOD específicas en dominios impulsados por texturas.
• Implicaciones: Los hallazgos sugieren que los benchmarks estándar actuales pueden no capturar completamente la dinámica de aprendizaje de las aplicaciones del mundo real impulsadas por texturas, y que el análisis espectral es una herramienta crucial para diagnosticar y mejorar la generalización de los modelos en estos dominios.

El artículo concluye que, si bien la poda de los LFCs ofrece un camino hacia una mejor generalización y robustez, la estrategia óptima depende de la interacción específica entre las características espectrales del dominio, la arquitectura del modelo y la naturaleza de las corrupciones OOD.