🤖 AI

APEX: Assumption-free Projection-based Embedding eXamination Metric for Image Quality Assessment

APEX es un marco novedoso y libre de suposiciones para la evaluación de la calidad de las imágenes que aprovecha la Distancia de Wasserstein Slicada con modelos base de vocabulario abierto (CLIP y DINOv2) para superar las limitaciones de las métricas tradicionales de distribución de características, ofreciendo una robustez y estabilidad superiores en diversos conjuntos de datos.

Autores originales: Caterina Gallegati, Monica Bianchini, Franco Scarselli, Vittorio Murino, Barbara Toniella Corradini

Publicado 2026-05-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Caterina Gallegati, Monica Bianchini, Franco Scarselli, Vittorio Murino, Barbara Toniella Corradini

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que eres un juez en un concurso de cocina. Los chefs (modelos de IA generativa) están creando platos increíbles y nuevos (imágenes) que parecen casi indistinguibles de la comida real. Tu trabajo es probarlos y decidir: "¿Es este plato bueno? ¿Es mejor que el anterior?"

Durante mucho tiempo, los jueces utilizaron una lista de verificación muy antigua y rígida para calificar estos platos. Observaban los ingredientes (píxeles) y comprobaban si coincidían con una receta específica de un libro de cocina de los años 90 (Inception-v3 entrenado en ImageNet).

El Problema:
El artículo argumenta que esta antigua lista de verificación tiene dos grandes defectos:

El Problema del "Menú Cerrado": La antigua lista de verificación solo conoce los ingredientes encontrados en su libro de cocina específico de los años 90. Si un chef prepara un plato futurista con ingredientes que el antiguo libro nunca vio, la lista de verificación se confunde o otorga una mala puntuación, incluso si el plato es delicioso.
El Problema de la "Matemática Rígida": La antigua lista de verificación asume que todos los platos siguen una forma perfecta y predecible de campana de Gauss. Pero la cocina real (y las imágenes reales de IA) es desordenada y compleja. Forzar una realidad desordenada a una forma rígida conduce a puntuaciones incorrectas.

Recientemente, algunos jueces intentaron usar un libro de cocina más nuevo y sofisticado (Modelos Fundacionales como CLIP y DINOv2) para entender ingredientes modernos. Pero seguían utilizando la misma matemática rígida para calificarlos. Es como tener un menú moderno pero seguir usando una regla de los años 90 que se dobla en la dirección equivocada.

La Solución: APEX

Los autores presentan APEX (Examen de Incrustaciones Basado en Proyección sin Suposiciones). Piensa en APEX como un nuevo sistema de juzgamiento superinteligente con dos superpoderes principales:

1. El Truco de la "Marioneta de Sombras" (Basado en Proyección)
En lugar de intentar medir toda la forma tridimensional de un plato de una sola vez (lo cual es difícil y requiere suposiciones rígidas), APEX utiliza un truco inteligente. Imagina proyectar una luz sobre una escultura compleja para que su sombra se proyecte en una pared.

APEX proyecta luz desde miles de ángulos diferentes (proyecciones).
Mide la sombra (el corte unidimensional) cada vez.
Promedia todas esas sombras para obtener una sensación real de la forma.
Por qué esto importa: Este método no asume que la escultura es una esfera o un cubo perfectos. Simplemente mide la forma tal como es realmente, sin importar cuán extraña o compleja sea. Es "libre de suposiciones".

2. El "Traductor Universal" (Modelos Fundacionales)
En lugar de usar el antiguo libro de cocina de los años 90, APEX utiliza dos traductores modernos y superinteligentes:

CLIP: Un traductor que entiende cómo se relacionan las imágenes con el lenguaje (excelente para "¿Esto parece un gato?").
DINOv2: Un traductor que entiende texturas, formas y detalles finos (excelente para "¿Este pelaje parece realista?").
APEX utiliza estos traductores para entender el "sabor" de la imagen, y luego usa el truco de la "Marioneta de Sombras" para comparar la imagen generada con las reales.

Lo que el Artículo Descubrió (La Prueba de Sabor)

Los autores sometieron a APEX a prueba contra los antiguos jueces (FID, KID) y los jueces más nuevos pero aún rígidos (CMMD). Los probaron en:

Fotos naturales (como un parque).
Rostros (como una celebridad).
Escaneos médicos (como una radiografía).
Fotos satelitales (como una vista de una ciudad desde el espacio).

Los Resultados:

Estabilidad: Los antiguos jueces eran como una mano temblorosa; si les mostrabas la misma imagen dos veces con un cambio minúsculo, podían dar puntuaciones radicalmente diferentes. APEX fue estable y consistente, como una roca.
Justicia entre Dominios: Los antiguos jueces eran excelentes calificando rostros, pero terribles calificando radiografías o fotos satelitales. APEX fue igualmente bueno juzgando a todos ellos. No se confundió por el cambio en el tema.
Sensibilidad: Cuando los chefs de IA mejoraron lentamente sus platos (añadiendo más detalle paso a paso), APEX fue el único que notó las mejoras diminutas y sutiles al final. Los antiguos jueces a menudo se estancaban o incluso pensaban que el plato empeoraba cuando en realidad mejoraba.
Acuerdo Humano: Cuando personas reales calificaron las imágenes, las puntuaciones de APEX coincidieron casi perfectamente con las opiniones humanas, a menudo mejor que el "estándar de oro" establecido (FID).

La Conclusión

El artículo afirma que APEX es una mejor manera de calificar imágenes generadas por IA porque deja de forzar las imágenes en cajas antiguas y rígidas. En su lugar, utiliza herramientas modernas y flexibles para observar las imágenes desde todos los ángulos posibles, asegurando que la puntuación refleje cómo se ve realmente la imagen, ya sea un rostro, un tumor o una vista satelital. Es un juez más honesto, estable y alineado con los humanos para el futuro del arte de la IA.

Resumen Técnico: APEX (Examen de Incrustaciones Basado en Proyección sin Supuestos)

1. Declaración del Problema

La evaluación de los modelos generativos ha alcanzado un punto crítico donde las métricas tradicionales luchan por mantener el ritmo con la fidelidad visual sin precedentes de la síntesis moderna. Los estándares de oro actuales, como la Distancia Fréchet Inception (FID) y la Distancia Inception de Kernel (KID), enfrentan dos limitaciones fundamentales:

Cuello de botella de vocabulario cerrado: Estas métricas dependen de extractores de características (por ejemplo, Inception-v3) entrenados exclusivamente en ImageNet. En consecuencia, carecen de la riqueza semántica y la alineación con el mundo abierto necesarias para evaluar modelos multimodales modernos o dominios diversos como la imagen médica y la teledetección.
Sesgo asumido: Las métricas existentes dependen de formulaciones estadísticas rígidas. FID asume que las incrustaciones reales y sintéticas siguen distribuciones gaussianas, una hipótesis demostrada empíricamente como incorrecta para espacios latentes de alta dimensión y multimodales. KID se basa en la Discrepancia Media Máxima (MMD) con kernels polinómicos, lo que introduce una sensibilidad extrema a la selección de hiperparámetros del kernel.

Aunque las alternativas recientes han reemplazado Inception-v3 con modelos fundacionales (por ejemplo, CLIP, DINOv2) para abordar el cuello de botella de las características, a menudo conservan las suposiciones estadísticas problemáticas (por ejemplo, CMMD aún utiliza MMD), dejando al campo sin un marco de evaluación robusto y libre de supuestos.

2. Metodología

Los autores proponen APEX (Examen de Incrustaciones Basado en Proyección sin Supuestos), un marco diseñado para medir la calidad de la imagen comparando distribuciones de incrustaciones sin depender de supuestos paramétricos ni de ajustes de kernel.

Componentes Principales

Extracción de Características: APEX es agnóstico a las incrustaciones, pero utiliza principalmente dos modelos fundacionales de última generación:
- CLIP (Preentrenamiento Contrasteo Lenguaje-Imagen): Proporciona una alineación semántica de alto nivel con el lenguaje natural.
- DINOv2 (Distilación de Conocimiento SIN etiquetas): Ofrece estructura visual detallada (textura, forma, disposición espacial) mediante aprendizaje auto-supervisado.
- Implementación: APEX-CLIP utiliza tokens [CLS] de 768 dimensiones. APEX-DINO concatena tokens [CLS] de las capas 6, 12 y 23 de DINOv2 ViT-L/14 para formar una representación de 3.072 dimensiones, capturando abstracciones visuales multiescala.
Métrica de Distancia (Distancia de Wasserstein Recortada - SWD): En lugar de ajustar distribuciones paramétricas o utilizar métodos de kernel, APEX calcula la SWD.
- Mecanismo: SWD aproxima la distancia 2-Wasserstein proyectando distribuciones de alta dimensión sobre líneas 1D aleatorias (direcciones $\theta$ ) y calculando la distancia de Wasserstein en estas proyecciones.
- Ventajas: Está fundamentada matemáticamente, es libre de supuestos (sin suposiciones gaussianas ni de kernel) y computacionalmente eficiente ( $O(N \log N)$ ) en comparación con el costo cuadrático de MMD.
Aproximación de Monte Carlo: La integral sobre la esfera unitaria se aproxima promediando $L$ proyecciones aleatorias. Los autores determinan teórica y empíricamente que $L=500$ proporciona un equilibrio estable entre la precisión de la estimación y el costo computacional.

Garantías Teóricas

El artículo proporciona un límite teórico (Teorema 1) que demuestra que el error de estimación de la SWD al cuadrado está controlado por el número de proyecciones $L$ . El límite depende de la dimensión intrínseca $k$ de la variedad donde residen las incrustaciones y del diámetro $D$ de la variedad, pero es independiente de la dimensión ambiental $d$ . Esto justifica la escalabilidad de SWD en espacios de alta dimensión.

3. Contribuciones Clave

Auditoría de Métricas Existentes: Un análisis sistemático de los modos de fallo en las métricas actuales, destacando su sensibilidad a las elecciones de la arquitectura base, las suposiciones distribucionales, las configuraciones de kernel y los desplazamientos entre dominios.
Marco APEX: Introducción de un marco de evaluación basado en proyección que combina modelos fundacionales (CLIP/DINOv2) con SWD para eliminar suposiciones paramétricas rígidas y dependencias de hiperparámetros de kernel.
Análisis de Estabilidad: Investigación teórica y empírica sobre el número de proyecciones requeridas para una estimación estable de SWD, identificando $L=500$ como el punto óptimo para la convergencia.
Evaluación Exhaustiva: Un protocolo de evaluación extenso que abarca cinco dominios heterogéneos (imágenes naturales, rostros, dermatoscopía, radiografía, teledetección), probando la robustez frente a degradaciones de píxeles/latentes, la estabilidad de muestras finitas y el refinamiento generativo.
Alineación Humana: Un estudio perceptual dedicado que demuestra que APEX se correlaciona fuertemente con los juicios humanos, compitiendo con las líneas base más fuertes.

4. Resultados Experimentales

La evaluación compara APEX frente a FID, KID, CMMD y DINO+MMD en múltiples criterios:

Estabilidad Intra e Interconjunto de Datos:
- Intraconjunto de datos: Las variantes de APEX exhiben un sesgo de muestra finita bajo y un coeficiente de variación bajo (CV $\le$ 0.06), superando a KID y DINO+MMD (que sufren de alta varianza a pesar de medias no sesgadas) y a FID (que depende de ajustes gaussianos suaves).
- Interconjunto de datos: APEX logra el menor error de consistencia entre dominios ( $\Lambda$ ), lo que indica que sus señales de degradación son más consistentes a través de diversos dominios (por ejemplo, imágenes médicas frente a naturales) en comparación con líneas base basadas en modelos fundacionales como CMMD.
Sensibilidad a Degradaciones: APEX demuestra sensibilidad monótona a perturbaciones progresivas (ruido, desenfoque, compresión, distorsiones latentes) en todos los dominios. En contraste, las líneas base a menudo muestran fluctuaciones no monótonas o fallos específicos del dominio.
Refinamiento Generativo: Durante el proceso de eliminación de ruido de Stable Diffusion, APEX-CLIP muestra la caída más significativa en las puntuaciones de distancia durante los pasos finales de refinamiento, lo que indica una mayor sensibilidad a mejoras perceptuales sutiles que FID o KID.
Correlación Humana: En un estudio con 10.850 imágenes anotadas, APEX-CLIP logró un $\rho$ de Spearman de 0.844, igualando casi a FID (0.847) y superando significativamente a CMMD (0.813) y DINO+MMD (0.651). Esto sugiere que el enfoque basado en proyección extrae información más perceptualmente relevante del mismo espacio de incrustaciones.
Eficiencia: Aunque la extracción de características domina el tiempo de ejecución, el cálculo de la distancia para APEX escala como $O(N \log N)$ , evitando el sobrecosto prohibitivo de $O(N^2)$ de los métodos basados en MMD.

5. Significado y Afirmaciones

El artículo afirma que APEX aborda los cuellos de botella de "vocabulario cerrado" y "sesgo asumido" que obstaculizan la evaluación actual de la calidad de la imagen. Al aprovechar la Distancia de Wasserstein Recortada dentro de los espacios latentes de los modelos fundacionales, APEX proporciona:

Robustez: Estabilidad superior a través de diversos dominios y bajo varias degradaciones de imagen.
Fiabilidad: Alta correlación con la percepción humana sin requerir suposiciones estadísticas rígidas.
Escalabilidad: Cálculo eficiente adecuado para espacios de incrustación de alta dimensión.

Los autores posicionan a APEX no como un reemplazo para todas las métricas existentes, sino como una alternativa principista y libre de supuestos que ofrece una línea base más estable y flexible para evaluar la próxima generación de modelos generativos. Reconocen limitaciones, señalando que el rendimiento aún depende de la calidad del espacio de incrustación subyacente y que el costo general está dominado por la extracción de características, particularmente para la variante APEX-DINO de alta dimensión. Se sugiere trabajo futuro para explorar estrategias de proyección adaptativa y extensiones a modelos multimodales más amplios.