PlaneCycle: Training-Free 2D-to-3D Lifting of Foundation Models Without Adapters

El artículo presenta PlaneCycle, un operador libre de entrenamiento y adaptadores que permite elevar modelos fundacionales 2D preentrenados a representaciones 3D volumétricas mediante la distribución cíclica de la agregación espacial en planos ortogonales, logrando un rendimiento competitivo en tareas de clasificación y segmentación 3D sin modificar la arquitectura original ni requerir reentrenamiento.

Lo esencial

¡Claro que sí! Imagina que tienes un genio de la lámpara (un modelo de Inteligencia Artificial) que ha pasado años estudiando millones de fotografías planas (imágenes 2D). Este genio es un experto en reconocer gatos, coches o tumores en una foto de una sola capa.

El problema es que en el mundo real, especialmente en medicina, las cosas no son planas; son volumétricas (3D), como un bloque de queso o un cuerpo humano completo. Normalmente, para que este genio entienda el mundo 3D, tendrías que:

1. Reeducarlo desde cero (lo cual es carísimo y lento).
2. Ponerle gafas especiales (adaptadores) que a veces no funcionan bien.
3. Cambiarle el cerebro (rediseñar la arquitectura).

Los autores de este paper, PlaneCycle, dicen: "¡Espera! No necesitamos hacer todo eso".

¿Qué es PlaneCycle? (La analogía del "Ciclo de Rotación")

Imagina que tienes un cubo de Rubik gigante que representa un escáner médico (como un TAC).

• El método antiguo (2D): Era como mirar el cubo solo desde arriba, capa por capa, sin conectar las capas entre sí. Era como leer un libro página por página sin entender la historia completa.
• El método tradicional 3D: Era como intentar mirar todas las caras del cubo a la vez, pero el cubo era tan grande que tu cerebro se saturaba (demasiado costoso computacionalmente).

PlaneCycle es como un truco de magia sin costo:

1. Tomas al genio experto en fotos planas (que ya está entrenado y es muy inteligente).
2. En lugar de cambiar su cerebro, simplemente le haces girar el cubo de formas diferentes mientras lo miras.
3. Primero le muestras el cubo desde arriba (plano horizontal).
4. Luego lo giras y se lo muestras de lado (plano frontal).
5. Luego lo giras de nuevo y se lo muestras desde otro ángulo (plano sagital).

Al hacer esto cíclicamente (girar, girar, girar) a través de las diferentes capas de su red neuronal, el genio empieza a "conectar los puntos" por sí mismo. De repente, sin que le hayas enseñado nada nuevo ni le hayas gastado un centavo en entrenamiento, comprende la profundidad y el volumen.

¿Por qué es tan revolucionario?

1. Es "Gratis" (Training-Free): No necesitas gastar millones de dólares en servidores ni semanas de tiempo para entrenar el modelo. Usas el modelo que ya existe y listo.
2. No necesita "gafas" (Adapter-Free): No le añades piezas extrañas al modelo. Es como si el modelo ya tuviera la capacidad oculta de ver en 3D, y PlaneCycle es simplemente la llave que la abre.
3. Funciona con cualquier modelo: Da igual si el modelo original fue diseñado para ver gatos (CNN) o para entender el lenguaje (Transformers/ViT). PlaneCycle funciona con todos.

Los Resultados (La prueba de fuego)

Los autores probaron esto con modelos muy potentes (DINOv3) en tareas médicas difíciles:

• Sin entrenar nada: El modelo ya podía entender mejor la estructura 3D que los métodos tradicionales que miraban solo "capa por capa".
• Con un poco de ajuste: Cuando lo ajustaron un poquito, igualó o incluso superó a los modelos 3D que habían sido entrenados desde cero durante mucho tiempo.

En resumen

PlaneCycle es como darle a un experto en mapas 2D un globo terráqueo y enseñarle a girarlo en sus manos. Sin cambiar su conocimiento previo, de repente entiende que la Tierra es redonda y tiene profundidad.

Es una solución sencilla, eficiente y ecológica (porque no gasta tanta energía como entrenar modelos 3D desde cero) que nos permite usar la inteligencia de los modelos 2D más avanzados del mundo para resolver problemas 3D complejos, como diagnosticar enfermedades en escáneres médicos, sin tener que reinventar la rueda.

Resumen técnico

Resumen Técnico: PlaneCycle

1. El Problema

Los modelos fundacionales a gran escala en 2D (como DINOv3) han demostrado representaciones robustas y transferibles en diversas dominios, incluido el procesamiento de imágenes médicas. Sin embargo, extender estos modelos preentrenados a datos volumétricos 3D (como CT, MRI o microscopía electrónica) presenta desafíos significativos:

• Incompatibilidad Arquitectónica: Los modelos 2D no procesan nativamente la dimensión volumétrica.
• Costos de Reentrenamiento: Las estrategias actuales suelen requerir reentrenar el modelo desde cero, convertir los kernels 2D a 3D (aumentando parámetros) o añadir "adaptadores" (adapters), lo que implica un alto costo computacional y de datos.
• Limitaciones de los Enfoques Actuales:
  • Procesamiento por rebanadas (Slice-wise): Es eficiente pero ignora las dependencias entre cortes, perdiendo la coherencia 3D.
  • Conversión a 3D completa: Permite interacción global pero incrementa exponencialmente el costo de la atención (complejidad cuadrática) y a menudo carece de capacidad 3D intrínseca antes de un reentrenamiento intensivo.
• Sostenibilidad: Dado el enorme costo energético y de datos detrás de los modelos fundacionales 2D modernos, existe una necesidad crítica de mecanismos que reutilicen estas representaciones sin modificar la arquitectura ni los parámetros.

2. Metodología: PlaneCycle

Los autores proponen PlaneCycle, un operador sin entrenamiento (training-free) y sin adaptadores (adapter-free) diseñado para ser agnóstico a la arquitectura (funciona tanto con CNNs como con Vision Transformers - ViT).

• Concepto Central: PlaneCycle reutiliza la columna vertebral (backbone) 2D preentrenada original distribuyendo la agregación espacial cíclicamente a través de tres planos ortogonales a lo largo de la profundidad de la red:
  1. HW (Axial)
  2. DW (Coronal)
  3. DH (Sagital)
• Mecanismo de Funcionamiento:
  1. Reformateo de Planos: Dado un mapa de características 3D, el volumen se reformatea (reshape) para tratarlo como una serie de "rebanadas" en un plano específico (ej. HW).
  2. Agregación Intra-Plano: Se aplica la capa preentrenada 2D ($F_\theta$) a estas rebanadas. Para ViTs, los tokens globales se adaptan mediante pooling adaptativo para coincidir con la nueva configuración de tokens de parche.
  3. Restauración 3D: Tras la agregación, las características se reformatean de nuevo a la estructura volumétrica.
  4. Ciclo Cíclico: Este proceso se repite cíclicamente a través de las capas de la red (ej. HW $\to$ DW $\to$ DH $\to$ HW), permitiendo una fusión 3D progresiva sin introducir nuevos parámetros.
• Eficiencia: Al mantener la complejidad de atención similar al caso 2D por capa (en lugar de la complejidad volumétrica completa), reduce drásticamente el costo computacional en comparación con los modelos 3D completos.

3. Contribuciones Clave

1. Operador sin Parámetros: PlaneCycle no añade ningún parámetro aprendible ni requiere reentrenamiento de los pesos del backbone preentrenado.
2. Capacidad 3D Intrínseca: Demuestra que la capacidad de fusión 3D puede "desbloquearse" directamente de modelos 2D preentrenados (incluso entrenados en imágenes naturales) mediante un mecanismo de levantamiento (lifting) simple.
3. Agnosticismo Arquitectónico: Funciona indistintamente con arquitecturas basadas en CNN y ViT (como DINOv3), llenando un vacío dejado por métodos anteriores restringidos a CNNs (como ACS convolution).
4. Compatibilidad Total: Los modelos levantados con PlaneCycle son totalmente compatibles con técnicas posteriores como fine-tuning completo o adaptadores (LoRA), actuando como un complemento y no como un reemplazo.

4. Resultados Experimentales

Los autores evaluaron PlaneCycle utilizando modelos DINOv3 preentrenados en seis conjuntos de datos de clasificación 3D y tres de segmentación (incluyendo LIDC, MMWHS, Organ, Nodule, etc.).

• Evaluación sin Entrenamiento (Zero-Training / Linear Probing):
  • PlaneCycle superó significativamente a los baselines de procesamiento 2D por rebanadas y a los modelos 3D nativos sin entrenamiento.
  • En clasificación, la variante PCg (con agrupación de tokens) superó a los modelos 3D ajustados (R-ACS) en un promedio de 3.0 puntos de AUC y 6.0 puntos de precisión (ACC) usando ViT-B/16.
  • En segmentación, las características congeladas de PlaneCycle mostraron una coherencia volumétrica superior (medida por FeatDice), superando a los enfoques 2D y 3D tradicionales.
• Evaluación con Fine-Tuning Completo:
  • Con ajuste completo, PlaneCycle igualó o superó el rendimiento de las arquitecturas 3D estándar (como ViViT) y de la conversión directa a 3D.
  • En segmentación, superó a la conversión 3D completa en hasta 2.6 puntos de Dice.
• Eficiencia Computacional:
  • PlaneCycle mantiene la eficiencia computacional del backbone 2D, evitando el costo cuadrático de la atención 3D completa.
  • Los tiempos de entrenamiento son significativamente menores (ej. 20 min vs. 120 min en ViT-L/16 para ciertos conjuntos de datos) y el uso de memoria de GPU es mucho más bajo.

5. Significado e Impacto

• Sostenibilidad en IA: El trabajo demuestra que es posible extraer capacidades 3D de modelos fundacionales masivos sin el costo energético y de datos de un preentrenamiento 3D dedicado o un reentrenamiento completo.
• Democratización del 3D: Permite aplicar los avances más recientes en modelos 2D (como DINOv3) a tareas médicas 3D de manera inmediata y accesible, sin necesidad de infraestructura masiva para reentrenamiento.
• Nueva Dirección de Investigación: Sugiere que la "inteligencia 3D" puede emerger de la reorganización inteligente de representaciones 2D, desafiando la noción de que se necesita una arquitectura 3D nativa desde el inicio para tareas volumétricas.
• Aplicabilidad Práctica: Ofrece una solución práctica para el análisis de imágenes médicas donde los datos etiquetados 3D son escasos y costosos, permitiendo el uso de modelos preentrenados en grandes volúmenes de datos 2D naturales.

En conclusión, PlaneCycle establece un nuevo paradigma para la transferencia de modelos fundacionales, demostrando que la modificación arquitectónica y el reentrenamiento no son estrictamente necesarios para habilitar capacidades 3D robustas en modelos 2D preentrenados.