Effect of Patch Size on Fine-Tuning Vision Transformers in Two-Dimensional and Three-Dimensional Medical Image Classification

Este estudio demuestra que el uso de tamaños de parche más pequeños (1, 2 y 4) durante el ajuste fino de Vision Transformers mejora significativamente el rendimiento en la clasificación de imágenes médicas tanto bidimensionales como tridimensionales, superando a los parches grandes y ofreciendo resultados aún mejores mediante una estrategia de ensemble.

Lo esencial

¡Claro que sí! Imagina que este artículo es como una receta de cocina para mejorar la inteligencia artificial que "ve" imágenes médicas. Aquí te lo explico de forma sencilla, usando analogías cotidianas.

🏥 El Problema: ¿Cómo leemos las radiografías a la IA?

Imagina que tienes una radiografía o una resonancia magnética (que puede ser una foto plana o un bloque 3D). Quieres que una Inteligencia Artificial (IA) te diga si hay algo malo, como un tumor o una fractura.

Para que la IA entienda la imagen, no la mira como un todo continuo (como lo hacemos nosotros). En su lugar, la IA la corta en trocitos, como si fuera un rompecabezas o una cuadrícula de mosaicos. A cada trocito le llamamos "parche" (patch).

La pregunta clave que se hicieron los autores de este estudio es: ¿Qué tamaño deben tener esos trocitos para que la IA sea más inteligente?

• ¿Deben ser trozos gigantes (como ver la imagen a través de una ventana muy pequeña)?
• ¿O deben ser trozos diminutos (como ver la imagen a través de un microscopio)?

🔍 La Experimentación: El "Microscopio" vs. La "Ventana"

Los investigadores probaron diferentes tamaños de estos trocitos en 12 conjuntos de datos médicos (algunos planos como fotos de piel o pulmones, y otros tridimensionales como bloques de tomografías).

Usaron una sola computadora potente (una tarjeta gráfica normal, nada de superordenadores) para probar tamaños que iban desde 28 (muy grandes) hasta 1 (muy pequeños, casi píxeles individuales).

La analogía de la pintura:

• Parches grandes (28): Es como pintar un cuadro usando solo brochas gigantes. Puedes ver el color general, pero no ves los detalles finos, como las venas o las pequeñas grietas. La IA se pierde los detalles importantes.
• Parches pequeños (1, 2, 4): Es como usar un pincel fino. La IA puede ver las texturas, los bordes y las pequeñas anomalías que un ojo humano o una IA con "parches grandes" ignoraría.

🏆 Los Resultados: ¡Más pequeños es mejor!

El hallazgo principal es sorprendente y muy claro: Cuanto más pequeños son los trocitos, mejor funciona la IA.

1. En imágenes 2D (fotos planas): Al reducir el tamaño del trozo, la precisión mejoró hasta un 12%. Es como pasar de ver un mapa borroso a ver una foto en alta definición.
2. En imágenes 3D (volumen, como una resonancia): La mejora fue aún más dramática, hasta un 23%. Aquí, ver los detalles internos es crucial.
3. El truco del equipo (Ensamblaje): Cuando combinaron las predicciones de tres modelos (uno con trozos de tamaño 1, otro de 2 y otro de 4), obtuvieron el mejor resultado posible. Es como tener tres expertos revisando la misma radiografía: uno mira el panorama general, otro el detalle medio y otro el microscópico. Juntos, no fallan.

⚖️ El Precio a Pagar: La "Ley de la Gravedad" Computacional

Aquí viene la parte de "nada es gratis".

• La analogía del tráfico:
  • Si usas parches grandes, tienes pocos trozos. La IA tiene que procesar poca información, como si hubiera pocos coches en la carretera. Es rápido y barato.
  • Si usas parches pequeños, tienes miles de trozos. La IA tiene que procesar muchísima más información. Es como si de repente hubiera miles de coches en la carretera. El tráfico se detiene y el proceso se vuelve muy lento y costoso en energía.

En imágenes 3D, al hacer los trozos más pequeños, el trabajo de la computadora se multiplicó por 64 veces. Es un precio alto, pero los autores dicen que vale la pena si la vida del paciente depende de un diagnóstico preciso.

💡 ¿Por qué es importante esto?

Antes, la mayoría de los investigadores usaban un tamaño de parche estándar (como 14x14) porque era lo "habitual" o porque los ordenadores no aguantaban más.

Este estudio nos dice:

1. No te conformes con lo estándar: En medicina, los detalles importan. Usar trozos más pequeños ayuda a la IA a ver lo que antes ignoraba.
2. Es posible hacerlo en casa: Aunque suene a que necesitas superordenadores, demostraron que con una sola computadora moderna y datos de tamaño adecuado, se pueden hacer estos estudios detallados. No necesitas un laboratorio gigante para investigar esto.
3. El futuro: Aunque es más lento, la precisión ganada en diagnósticos médicos justifica el esfuerzo computacional.

En resumen

Imagina que la IA es un detective.

• Con parches grandes, el detective mira la escena del crimen desde un helicóptero: ve el edificio, pero no encuentra la huella dactilar en la ventana.
• Con parches pequeños, el detective baja y usa una lupa: encuentra la huella, el hilo y la prueba definitiva.

El estudio concluye que, aunque bajar a la calle (usar parches pequeños) le cuesta más tiempo y energía al detective, es la única forma de resolver el caso (diagnosticar la enfermedad) con total seguridad.

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título: Efecto del Tamaño de Parche en el Ajuste Fino de Vision Transformers para la Clasificación de Imágenes Médicas en 2D y 3D

1. Problema Identificado

Aunque los Vision Transformers (ViT) y sus variantes han alcanzado el estado del arte en muchas tareas de visión por computadora, un componente fundamental de su arquitectura, la estrategia de parches (patching), ha sido poco explorado en la literatura, especialmente en el dominio médico.

• Limitación actual: La mayoría de los métodos ViT utilizan un tamaño de parche fijo (comúnmente 14×14 o 16×16), lo que determina el número de tokens y la capacidad del modelo para capturar información espacial de alta frecuencia.
• Brecha de investigación: Existe una falta de estudios sistemáticos sobre cómo el tamaño del parche afecta el rendimiento en imágenes médicas, que difieren estructuralmente de las imágenes naturales (2D y 3D). Además, muchos estudios previos se centran en imágenes naturales o requieren recursos computacionales masivos (múltiples GPUs/TPUs) para entrenar modelos desde cero, lo que no es viable para conjuntos de datos médicos pequeños donde el fine-tuning (ajuste fino) es el enfoque preferido.

2. Metodología

Los autores realizaron una evaluación exhaustiva utilizando un enfoque de ajuste fino (fine-tuning) en lugar de entrenamiento desde cero.

• Datos: Se utilizaron 12 conjuntos de datos del conjunto MedMNIST V2:
  • 7 conjuntos 2D: De diversas modalidades (ultrasonido, fondo de ojo, dermatoscopia, OCT, CT abdominal, radiografía).
  • 5 conjuntos 3D: Volúmenes de CT, microscopía electrónica y MRI.
  • Resolución: Se utilizaron las resoluciones más pequeñas disponibles (28×28 para 2D y 28×28×28 para 3D) para garantizar la viabilidad en una sola GPU.
• Modelo: Se utilizó la arquitectura ViT-Small (22 millones de parámetros) preentrenada en ImageNet.
  • Para datos 3D, se aplicó el método de "inflación de pesos" para adaptar los kernels 2D a 3D y se interpoló la codificación de posición.
• Configuración Experimental:
  • Hardware: Una sola GPU NVIDIA RTX 4090.
  • Tamaños de parche evaluados: $P \in \{28, 14, 7, 4, 2, 1\}$. Esto permite dividir la imagen en parches no superpuestos sin relleno.
  • Estrategia de Ensemble: Se probó una fusión de predicciones (promedio simple) de los modelos entrenados con tamaños de parche 1, 2 y 4.
• Métricas: Precisión (Acc.), Precisión Balanceada (Bal. Acc.), Área bajo la curva ROC (AUC) y costo computacional (GFLOPs).

3. Contribuciones Clave

1. Evaluación Sistemática: Es el primer estudio que analiza exhaustivamente el impacto progresivo de tamaños de parche más pequeños en ViTs para modalidades médicas tanto 2D como 3D.
2. Viabilidad en Recursos Limitados: Demuestra que es posible realizar análisis detallados de tokenización en un entorno de investigación realista con una sola GPU modesta, desafiando la noción de que se requieren clusters masivos para este tipo de estudios.
3. Análisis 3D: Proporciona insights específicos sobre la tokenización volumétrica en 3D, un área subexplorada en comparación con el 2D.
4. Reproducibilidad: El código fuente está disponible públicamente en GitHub.

4. Resultados Principales

• Rendimiento vs. Tamaño de Parche:
  • Tendencia General: Reducir el tamaño del parche mejora consistentemente el rendimiento de clasificación en la mayoría de los conjuntos de datos.
  • Mejores Resultados: Los tamaños de parche pequeños (1, 2 y 4) obtuvieron los mejores resultados. El tamaño de parche 2 fue el mejor en general para datos 2D, mientras que el tamaño 1 fue superior para datos 3D.
  • Peores Resultados: El tamaño de parche estándar grande (28) obtuvo sistemáticamente el peor rendimiento.
• Magnitud de las Mejoras:
  • Datos 2D: Mejoras de hasta 12.78% en precisión balanceada (comparando parche 2 vs. 28 en OrganMNIST).
  • Datos 3D: Mejoras aún más significativas, de hasta 23.78% en precisión balanceada (comparando parche 1 vs. 14 en VesselMNIST3D).
• Estrategia de Ensemble: La fusión de modelos con parches 1, 2 y 4 mejoró aún más el rendimiento en la mayoría de los casos, especialmente en datasets 2D, sugiriendo que integrar tokens multi-escala es beneficioso.
• Costo Computacional:
  • Existe una compensación (trade-off) clara: la reducción del tamaño del parche aumenta drásticamente el costo computacional debido a la complejidad cuadrática del mecanismo de auto-atención.
  • 2D: Al reducir el parche de 28 a 1, los GFLOPs aumentan de ~0.04 a ~16.71 (factor de ~400x).
  • 3D: El aumento es aún más severo, pasando de ~0.40 a más de 800 GFLOPs por volumen al reducir el parche de 28 a 1.
• Análisis de Atención: Los mapas de atención visualizados muestran que los modelos con parches pequeños (P2) se enfocan en regiones clínicamente relevantes con mayor detalle, mientras que los parches grandes (P28) muestran patrones de atención uniformes y menos informativos.

5. Significado e Implicaciones

• Guía de Diseño: El estudio proporciona una guía práctica para diseñar pipelines basados en ViT en análisis de imágenes médicas, sugiriendo que tamaños de parche más pequeños (1-4) son preferibles para maximizar la precisión, a pesar del costo computacional.
• Viabilidad Práctica: Confirma que la investigación detallada sobre hiperparámetros de tokenización no requiere infraestructura de supercomputación, democratizando el acceso a estos estudios.
• Desafío de Despliegue: Aunque el rendimiento mejora, el alto costo computacional de los parches muy pequeños (especialmente en 3D) plantea desafíos para el despliegue en entornos clínicos con hardware limitado o requisitos de tiempo real.
• Futuro: Se sugiere investigar si estas tendencias se mantienen en imágenes clínicas reales de alta resolución, ya que los datasets actuales (MedMNIST) tienen resoluciones reducidas.

En conclusión, el trabajo establece una relación clara entre la finura de la tokenización y el rendimiento del modelo en medicina, demostrando que ViTs pueden capturar características locales críticas para el diagnóstico si se utilizan tamaños de parche suficientemente pequeños, siempre que se gestione el costo computacional asociado.