🤖 AI

Respecting Modality Gap in Post-hoc Out-of-distribution Detection with Pre-trained Vision-Language Models

Este artículo propone un marco pseudo-supervisado en línea que aprende prototipos visuales de clase a partir de datos de prueba no etiquetados para cerrar la brecha de modalidad intrínseca entre las representaciones textuales y visuales, logrando así una detección de distribución fuera de distribución post-hoc de vanguardia sin requerir datos de entrenamiento dentro de la distribución.

Autores originales: Yuanwei Hu, Bo Peng, Yadan Luo, Zhen Fang, Ling Chen, Jie Lu

Publicado 2026-05-27

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Yuanwei Hu, Bo Peng, Yadan Luo, Zhen Fang, Ling Chen, Jie Lu

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes una bibliotecaria muy inteligente y bien informada (el modelo de IA) que ha pasado años estudiando una biblioteca masiva de libros sobre temas específicos, como "gatos", "coches" y "árboles". Esta bibliotecaria es excelente identificando estas cosas. Sin embargo, en el mundo real, las personas podrían entrar y mostrarle a la bibliotecaria una imagen de una "tostadora con purpurina" o de un "plátano volador". Estas son cosas que la bibliotecaria nunca ha visto antes.

El objetivo de la detección de distribución fuera de lo habitual (OOD) es enseñar a la bibliotecaria a decir: "No sé qué es esto", en lugar de adivinar que es un gato o un coche y equivocarse.

La vieja forma: El problema del "libro de texto"

Recientemente, los científicos descubrieron una nueva herramienta: un Modelo Visión-Lenguaje (como CLIP). Piensa en esto como una bibliotecaria que puede leer tanto imágenes como palabras. Para ayudar a la bibliotecaria a reconocer "gatos", el método antiguo simplemente escribía la palabra "gato" en una tarjeta y le decía a la bibliotecaria: "Esta palabra representa la idea de un gato".

El problema es que las palabras y las imágenes son idiomas diferentes.

La palabra "gato" vive en el mundo del texto.
La imagen de un gato vive en el mundo de las imágenes.

El artículo argumenta que simplemente usar la palabra "gato" como sustituto de la imagen de un gato es como intentar navegar por una ciudad usando un mapa de una ciudad diferente. Aunque el mapa y la ciudad comparten algunos nombres, las calles no coinciden perfectamente. Existe una "Brecha de Modalidad": una discrepancia estructural entre la descripción textual y la realidad visual real. No importa cuán ingeniosamente reescribas el prompt (las instrucciones), no puedes arreglar esta brecha porque el texto y la imagen simplemente no viven en el mismo "barrio" en el cerebro de la IA.

La nueva solución: Aprender haciendo (El enfoque "en línea")

Los autores proponen una nueva forma de solucionar esto. En lugar de depender de las tarjetas de texto estáticas, permiten que la bibliotecaria aprenda el mapa visual directamente mientras trabaja.

Así es como funciona su método, usando una analogía simple:

La configuración: La bibliotecaria comienza con las tarjetas de texto (la forma antigua) como un punto de partida aproximado.
La corriente: A medida que las personas entran con nuevas imágenes (datos de prueba), la bibliotecaria las observa.
La suposición: La bibliotecaria hace una "suposición suave" basada en su conocimiento actual. "Esto parece un 80% un gato, un 20% un perro".
La actualización:
- Si la bibliotecaria está muy segura de que es un gato, ajusta ligeramente su "mapa mental de gatos" para que coincida con la imagen real que acaba de ver.
- Si la bibliotecaria está muy segura de que no es un gato (es un objeto desconocido), ajusta su "mapa de objetos desconocidos".
- Si la bibliotecaria está confundida, ignora la imagen por ahora.
El resultado: Con el tiempo, la bibliotecaria deja de depender de las tarjetas de texto imperfectas y construye un mapa visual perfecto de cómo son realmente un "gato" y un "desconocido" en el mundo real.

Por qué esto importa

El artículo demuestra matemáticamente que la forma antigua (usar texto como prototipo) tiene un defecto permanente porque el texto y las imágenes son fundamentalmente diferentes. Su nuevo método soluciona esto calibrando el mapa sobre la marcha utilizando las propias imágenes, sin necesidad de etiquetas humanas ni de reentrenar todo el sistema.

La prueba

Probaron esto en conjuntos de datos masivos (como ImageNet, que tiene miles de categorías). Los resultados fueron impresionantes:

El nuevo método fue mucho mejor detectando "desconocidos" (como el plátano volador) que los métodos anteriores.
Redujo significativamente la cantidad de veces que la IA adivinó con confianza algo incorrecto (Falsos Positivos).
Funcionó bien incluso cuando las imágenes se mezclaban en diferentes órdenes o provenían de diferentes fuentes.

En resumen, el artículo dice: "No solo leas la etiqueta; mira la imagen y aprende de ella mientras avanzas". Esto permite que la IA sea mucho más confiable cuando se encuentra con cosas que nunca ha visto antes.

Resumen Técnico: Respetar la Brecha de Modalidad en la Detección de Distribución Externa Post-hoc con Modelos de Visión-Lenguaje Pre-entrenados

Enunciado del Problema

La detección de distribución externa (OOD) es crítica para garantizar la fiabilidad de los modelos de aprendizaje automático en entornos de mundo abierto, donde las muestras de prueba pueden pertenecer a clases desconocidas no vistas durante el entrenamiento. Aunque los avances recientes en Modelos de Visión-Lenguaje (VLM) pre-entrenados, particularmente CLIP, han permitido la detección OOD en modo cero sin acceso a datos de entrenamiento de distribución interna (ID), los enfoques existentes dependen de un paradigma específico: tratar las incrustaciones de texto de los nombres de las clases como prototipos de clase.

Este artículo desafía la validez de este paradigma de "texto como prototipo". Argumenta que los métodos existentes asumen implícitamente que las representaciones textuales están bien alineadas con los prototipos visuales óptimos de la clase. Sin embargo, la evidencia reciente sugiere una persistente "brecha de modalidad" donde las representaciones de texto y visión en los modelos basados en CLIP permanecen distintas. Los autores postulan que los prototipos textuales listos para usar generalmente no están alineados con los prototipos visuales óptimos, creando una brecha estructural intrínseca que no puede resolverse únicamente mediante ingeniería de prompts o minería de etiquetas negativas. Esta desalineación conduce a un rendimiento subóptimo en la detección OOD.

Metodología

Para abordar la brecha de modalidad bajo restricciones post-hoc (donde no hay datos de entrenamiento ID disponibles), el artículo propone un marco de aprendizaje pseudo-supervisado en línea que aprende y actualiza directamente los prototipos de clase dentro del espacio de características visuales.

1. Caracterización Teórica de la Brecha de Modalidad

Los autores proporcionan primero un análisis teórico bajo una formulación supervisada idealizada. Derivan una expresión de forma cerrada para los prototipos visuales de clase óptimos, demostrando que estos prototipos deben residir enteramente dentro del rango del espacio de características visuales. En contraste, los prototipos derivados del texto a menudo contienen componentes ortogonales a este subespacio visual.

Teorema 1: Establece que los prototipos visuales óptimos son combinaciones lineales de características visuales.
Teorema 2: Demuestra una cota inferior no nula en la distancia entre los prototipos textuales y los prototipos visuales óptimos siempre que las incrustaciones de texto contengan componentes fuera del subespacio de características visuales. Esto formaliza la "brecha de modalidad" como una limitación estructural.

2. Marco de Aprendizaje Pseudo-supervisado en Línea

Dado que las etiquetas de verdad fundamental no están disponibles en el escenario de modo cero, el método utiliza las fuertes capacidades de transferencia en modo cero de los modelos CLIP pre-entrenados para generar etiquetas pseudo suaves.

Objetivo Pseudo-supervisado: El marco reemplaza las etiquetas de verdad fundamental duras con predicciones suaves del VLM pre-entrenado para construir una función de pérdida pseudo-supervisada.
Optimización en Línea: Se desarrolla un procedimiento de optimización en línea para actualizar incrementalmente los prototipos visuales utilizando flujos de datos de prueba sin etiquetar. Esto respeta la restricción post-hoc al procesar los datos a medida que llegan.
Estrategia de Actualización de Prototipos:
- El espacio de etiquetas ID se extiende para incluir $L$ clases pseudo OOD (marcadores de posición).
- Una regla de umbralización dura basada en puntuaciones OOD existentes (por ejemplo, de NegLabel) clasifica las muestras de prueba entrantes como "positivas" (probablemente ID) o "negativas" (probablemente OOD).
- Los prototipos de clase ID se actualizan solo cuando una muestra se clasifica como ID; los prototipos de clase pseudo OOD se actualizan cuando una muestra se clasifica como OOD.
- Las muestras con puntuaciones inciertas se ignoran.
Garantías de Convergencia: El Teorema 3 proporciona garantías teóricas para la convergencia del procedimiento de optimización en línea propuesto, acotando el arrepentimiento acumulativo por $O(\sqrt{N})$ .

3. Puntuación OOD

La puntuación OOD final para una imagen de prueba se calcula comparando la característica visual de la imagen con los prototipos visuales actualizados (tanto clases ID como pseudo OOD) utilizando una medida de similitud basada en softmax, en lugar de depender de las incrustaciones de texto originales.

Contribuciones Clave

Perspectiva Teórica: El artículo demuestra teóricamente que la suposición de "texto como prototipo" en la detección OOD post-hoc basada en CLIP es fundamentalmente defectuosa debido a una brecha de modalidad intrínseca. Demuestra que las incrustaciones de texto no pueden representar perfectamente los prototipos visuales óptimos sin calibración visual.
Marco Novel: Introduce un marco de aprendizaje pseudo-supervisado en línea que aprende prototipos de clase directamente en el espacio de características visuales utilizando flujos de prueba sin etiquetar y predicciones suaves de VLM, cerrando efectivamente la brecha de modalidad.
Garantías Teóricas: Los autores proporcionan garantías rigurosas de convergencia para su algoritmo de optimización en línea.
Rendimiento de Vanguardia: El método logra nuevos resultados de vanguardia en diversas pruebas de detección OOD, incluidos los conjuntos de datos ImageNet-1K, OpenOOD y CIFAR, superando a líneas base sólidas como AdaNeg y NegLabel.

Resultados Experimentales

Extensos experimentos validan la efectividad del método propuesto:

ImageNet-1K: El método logra un AUROC del 97.75% y un FPR95 del 12.79%, superando a la vanguardia anterior (AdaNeg) por márgenes significativos (por ejemplo, +1.09% AUROC y -6.13% FPR95).
Prueba OpenOOD: Se observan mejoras consistentes tanto en conjuntos de datos Near-OOD como Far-OOD, demostrando robustez frente a diferentes tipos de cambios de distribución.
Pruebas CIFAR: El método muestra ganancias consistentes en los entornos CIFAR-10 y CIFAR-100.
Estudios de Ablación: Se demuestra que el método es robusto frente a la elección de hiperparámetros, efectivo a través de diferentes arquitecturas de codificador visual (ResNet-50, ViT-B/32, ViT-L/14) y escalable a resoluciones de entrada más grandes.
Generalización de Dominio: El enfoque mantiene un rendimiento superior cuando los datos ID experimentan cambios de dominio (por ejemplo, ImageNet-A, ImageNet-R, ImageNet-S).

Significado y Afirmaciones

El artículo afirma que su principal significado radica en identificar y abordar una limitación estructural en el paradigma actual de detección OOD en modo cero. Al alejarse de la dependencia de las incrustaciones de texto como prototipos estáticos y, en su lugar, aprender prototipos visuales dinámicos y calibrados a partir de datos de tiempo de prueba, el método ofrece una solución más fundamentada teóricamente y empíricamente efectiva.

Los autores enfatizan que su enfoque no es meramente un ajuste de ingeniería, sino un cambio fundamental en cómo se construyen los prototipos para la detección OOD basada en VLM. Afirman que la brecha de modalidad es un problema estructural independiente de las estrategias de minería de etiquetas negativas, y que su marco proporciona una manera principista de mitigar esta brecha, lo que conduce a ganancias de rendimiento consistentes en diversas pruebas sin requerir reentrenamiento en datos ID.