ORION: ORthonormal Text Encoding for Universal VLM AdaptatION

1. Planteamiento del Problema

Los Modelos Visión-Lenguaje (VLM), como CLIP, han demostrado una gran capacidad de generalización en tareas de visión por computadora. Sin embargo, su rendimiento en tareas específicas (zero-shot, few-shot o adaptación en tiempo de prueba) a menudo se ve limitado por la calidad y la geometría de los prototipos textuales utilizados para representar las clases.

• Limitaciones actuales: Los clasificadores zero-shot estándar derivan de codificadores de texto congelados y prompts manuales. Esto genera embeddings textuales que pueden estar correlacionados o tener una separación débil en el espacio de incrustación.
• El problema de la entrelazamiento: En dominios de granularidad fina (ej. tipos de terreno en EuroSAT), categorías semánticamente relacionadas (como "Tierra de Cultivo" y "Tierra de Pasto") tienen prototipos textuales casi indistinguibles en el espacio de CLIP original. Esto reduce la discriminabilidad del clasificador.
• Brecha de investigación: La mayoría de los trabajos se centran en ajustar prompts o adaptar el codificador visual, dejando el codificador de texto (que define el espacio del clasificador) congelado y sin explorar su geometría.

2. Metodología: ORION

ORION es un marco de ajuste fino (fine-tuning) del codificador de texto que utiliza únicamente los nombres de las clases, sin necesidad de imágenes ni etiquetas visuales durante el entrenamiento.

A. Función de Pérdida (Loss Function)

El método optimiza el codificador de texto minimizando una función de pérdida compuesta por dos términos:
$$\mathcal{L}(\theta) = \|X(\theta) - V\|_F^2 + \lambda \|X(\theta)X(\theta)^\top - I_K\|_F^2$$
Donde:

1. Término de Regularización de Ortonormalidad: Promueve la ortogonalidad par a par entre las representaciones textuales de las clases. Esto fuerza a que los embeddings de diferentes clases estén separados angularmente en la hipersfera unitaria, reduciendo la redundancia y mejorando la separabilidad.
2. Término de Conservación de Prototipos: Penaliza las desviaciones de los prototipos iniciales (promedio de embeddings de prompts congelados). Esto asegura que el ajuste fino no destruya la información semántica original, sino que la refine.

B. Adaptación Eficiente de Parámetros (LoRA)

Para evitar el sobreajuste y el alto costo computacional de ajustar todo el codificador de texto, ORION utiliza Low-Rank Adaptation (LoRA).

• Se introducen matrices de bajo rango ($A, B$) en las capas del transformador del codificador de texto.
• Solo estos parámetros son entrenables, reduciendo los parámetros ajustables en más de un 95% mientras se mantiene la capacidad expresiva del modelo preentrenado.

C. Interpretación Probabilística

Los autores ofrecen una interpretación teórica basada en el Teorema de Huygens y la Estimación de Máxima Verosimilitud (MLE).

• Demuestran que la penalización de ortogonalidad equivale indirectamente a maximizar la verosimilitud de los datos bajo un modelo de mezcla gaussiana.
• Al forzar la ortogonalidad, se reduce la superposición entre las probabilidades de las clases competidoras, actuando como un refinamiento geométrico que aumenta la separación entre los modos gaussianos (los anclajes de texto) sin acceso explícito a las características visuales.

D. Variantes

• ORION (Propuesto): Ajuste fino con LoRA y pérdida suave (soft penalty).
• Solución de Cierre (SVD): Una variante "sin entrenamiento" que impone restricciones de ortogonalidad dura mediante descomposición SVD. Los experimentos muestran que esta es subóptima porque distorsiona la información semántica al forzar una ortogonalidad rígida, ignorando las relaciones naturales entre clases.

3. Contribuciones Clave

1. ORION: Un marco de ajuste fino de codificador de texto que mejora los VLMs preentrenados usando solo nombres de clases.
2. Nueva Función de Pérdida: Una pérdida compuesta que combina una penalización de norma de Frobenius para la ortogonalidad y una restricción de proximidad a los prototipos iniciales.
3. Fundamento Teórico: Una interpretación probabilística que conecta la penalización de ortogonalidad con el principio de Máxima Verosimilitud y el teorema de Huygens.
4. Validación Exhaustiva: Pruebas extensas en 11 benchmarks y 3 arquitecturas grandes (CLIP ViT-B/16, ViT-L/14 y MetaCLIP), demostrando mejoras consistentes.

4. Resultados Experimentales

ORION se evaluó en tres regímenes de adaptación, actuando como un módulo "plug-and-play" sobre métodos de última generación (SOTA):

• Zero-Shot:
  • Reemplazar el codificador de texto estándar por ORION mejoró consistentemente la precisión Top-1 en todos los modelos y datasets.
  • Mejoras destacadas: CLIP ViT-B/16 aumentó un +2.76% en promedio. En datasets de granularidad fina como EuroSAT, la mejora fue de +10.03%, y en DTD de +2.4%.
• Few-Shot (1 a 16 shots):
  • Integrado con métodos como CoOp y CLAP, ORION proporcionó una inicialización superior.
  • Las ganancias fueron más significativas en regímenes de muy pocos ejemplos (1-4 shots), donde los priores textuales dominan. Por ejemplo, en CLAP con 4 shots, se logró una mejora de +13.6% en DTD.
• Adaptación en Tiempo de Prueba (Test-Time Adaptation - TTA):
  • Integrado en frameworks como MTA, TPT y StatA, ORION mejoró la robustez ante cambios de distribución.
  • En el protocolo realista de StatA (online y por lotes), ORION mantuvo ganancias estables (+1.0% a +1.6% en promedio), demostrando que la geometría ortogonal estabiliza el paisaje de predicción frente a derivas temporales.

5. Significancia e Impacto

• Independencia Visual: ORION demuestra que es posible mejorar drásticamente la discriminabilidad de un VLM sin utilizar ninguna imagen durante el proceso de ajuste fino, solo con los nombres de las clases.
• Universalidad: Funciona como un reemplazo universal para los prototipos de CLIP, mejorando el rendimiento en zero-shot, few-shot y TTA sin modificar los codificadores visuales ni los mecanismos de optimización de los métodos base.
• Geometría del Espacio de Texto: El trabajo subraya que la geometría del espacio de incrustación textual es un factor crítico, a menudo ignorado, para el rendimiento de los VLMs. La regularización geométrica (ortogonalidad suave) es una herramienta poderosa para desentrelazar clases semánticamente confusas.
• Eficiencia: Al utilizar LoRA, el método es computacionalmente eficiente y fácil de implementar en cualquier pipeline existente.

En conclusión, ORION ofrece una solución simple pero potente para desbloquear el potencial completo de los modelos visión-lenguaje, transformando el espacio textual en un espacio más discriminativo y geométricamente estructurado.