🤖 AI

Visual Distortion Detection in UGC Images Using Large Multimodal Models

El artículo propone VIGIL, un nuevo marco que aprovecha los Modelos Multimodales Grandes con detectores de características de múltiples niveles y un conjunto de datos de 140 mil muestras rigurosamente curado para abordar las limitaciones de los enfoques actuales basados en texto y cerrar la brecha de generalización de lo sintético a lo auténtico en la detección de distorsiones visuales.

Autores originales: Ziheng Jia, Yingji Liang, Jiaying Qian, Xiongkuo Min

Publicado 2026-08-11

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Ziheng Jia, Yingji Liang, Jiaying Qian, Xiongkuo Min

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás mirando una foto en tu teléfono. Tal vez sea un selfie, una foto de tu perro o un atardecer que capturaste mientras hacías senderismo. A veces, la foto completa se ve genial. Otras veces, el cielo es perfecto, pero la cara de tu amigo está borrosa, o hay una mancha extraña de color en el césped. Durante mucho tiempo, las computadoras que analizaban fotos eran como un profesor estricto que solo daba una única nota para todo el examen. Podían decirte si una foto era "buena" o "mala" en general, pero no podían señalar el lugar específico donde ocurrió el error. Este es un gran problema porque, en el mundo real, a menudo queremos arreglar solo la parte borrosa, no toda la foto.

El campo que intenta resolver esto se llama Evaluación de la Calidad de Imagen. Piensa en esto como enseñar a las computadoras a ser críticos de arte. Recientemente, los científicos han empezado a utilizar "Modelos Multimodales Grandes" (LMM, por sus siglas en inglés). Puedes pensar en ellos como robots superinteligentes que pueden ver imágenes y leer texto al mismo tiempo. Son como un estudiante de arte genio que se ha leído todos los libros de fotografía. Sin embargo, el hecho de que un robot sea inteligente no significa que sea bueno encontrando errores diminutos y específicos. La mayoría de estos robots fueron entrenados mostrándoles imágenes con descripciones de texto como "el cielo está borroso", pero les cuesta dibujar realmente un cuadro alrededor del cielo borroso. También tienen dificultades cuando pasan de las imágenes de práctica "falsas" (donde los científicos añaden desenfoque artificialmente) a fotos reales y desordenadas tomadas por personas en el mundo real.

Este artículo presenta un nuevo robot llamado VIGIL (Inteligencia Visual para la Localización Generalizada de Imágenes). Los investigadores querían construir un sistema que no solo diga "esta foto es mala", sino que realmente señale con el dedo y diga: "Oye, el desenfoque está justo aquí, y es un error de compresión". Descubrieron que la vieja forma de enseñar a estos robots —solo hacer que escriban descripciones de texto— no era lo suficientemente precisa. Así que probaron un enfoque diferente: le enseñaron al robot a actuar como un detective buscando pistas, en lugar de un escritor describiendo una escena.

El equipo comenzó reuniendo una biblioteca masiva de más de 1 millón de imágenes de alta calidad de internet. Las filtraron cuidadosamente para asegurarse de que fueran claras y brillantes, luego jugaron a un juego de "encuentra las diferencias" añadiendo artificialmente 8 tipos diferentes de distorsiones (como desenfoque, ruido o colores extraños) a partes aleatorias de las imágenes. Crearon un conjunto de entrenamiento llamado VIGIL-140K, que contiene más de 140,000 imágenes distorsionadas con más de 200,000 puntos defectuosos etiquetados.

En lugar de pedirle al robot que escriba frases, los investigadores convirtieron el cerebro del robot en un equipo de detectives. Utilizaron diferentes capas del proceso de pensamiento interno del robot como "detectores" separados. Imagina un salón de clases donde, en lugar de que un solo estudiante levante la mano para responder, cinco estudiantes diferentes miran la misma imagen al mismo tiempo, cada uno usando un par de anteojos ligeramente diferente. Uno podría ser bueno viendo bordes difusos, mientras que otro es excelente detectando cambios de color. Todos gritan sus suposiciones simultáneamente. El robot luego combina todas estas suposiciones para tomar una decisión final, muy precisa.

Los investigadores también resolvieron un problema complicado llamado la brecha "Sintético-a-Auténtico". Esto es como practicar tiro con arco con blancos de papel que tienen centros redondos y perfectos, pero luego intentar darle a un blanco tambaleante e irregular en un bosque real. Los blancos de papel (datos sintéticos) se ven demasiado ordenados, por lo que el robot se confunde cuando ve distorsiones reales y desordenadas. Para solucionar esto, el equipo enseñó al robot a prestar atención incluso cuando piensa que un punto está "limpio". Si el robot está casi seguro de que un punto está limpio pero tiene una mínima duda, dejamos que esa duda cuente como una posible pista. Esto ayuda al robot a mantenerse alerta cuando el mundo real se vuelve desordenado.

Cuando probaron VIGIL, fue un gran éxito. En las pruebas de práctica con las distorsiones falsas, encontró los errores mucho mejor que otros modelos de primer nivel. Pero la verdadera magia ocurrió cuando lo probaron con fotos del mundo real que nunca había visto antes. Mientras que otros modelos se confundían y perdían los errores, VIGIL mantuvo la calma, señalando con precisión los puntos borrosos o con ruido en las fotos reales de los usuarios. El artículo muestra que, al usar un equipo de detectores internos y mantener una mente abierta sobre las áreas "limpias", podemos enseñar a las computadoras a ser mucho mejores para detectar exactamente dónde ha fallado una foto, allanando el camino para herramientas más inteligentes que puedan arreglar nuestras imágenes automáticamente.

Resumen Técnico: VIGIL – Detección de Distorsión Visual en Imágenes de UGC mediante Modelos Multimodales Grandes

Declaración del Problema

La Evaluación de la Calidad de Imagen (IQA) se ha centrado tradicionalmente en la calificación de la calidad perceptual global, a menudo alineada con las Puntuaciones de Opinión Media (MOS). Sin embargo, para las imágenes de Contenido Generado por el Usuario (UGC), existe una necesidad crítica de detección de distorsión localizada para identificar artefactos espaciales específicos causados por limitaciones de hardware o condiciones de captura. Los enfoques existentes que aprovechan los Modelos Multimodales Grandes (LMM) dependen principalmente del Ajuste Fino Supervisado (SFT) impulsado por texto, donde los modelos generan descripciones textuales o coordenadas de cajas delimitadoras (bounding boxes). Este paradigma enfrenta dos limitaciones significativas:

Precisión de Detección Limitada: La generación de texto carece de los procesos rigurosos de emparejamiento y clasificación requeridos para la regresión precisa de coordenadas, lo que conduce a una separación ambigua entre el primer plano y el fondo (FG-BG).
Brecha de Generalización de Sintético-a-Auténtico (S2A): Los datos de entrenamiento suelen consistir en imágenes con distorsiones sintéticas de formas regulares e intensidad uniforme. Estos difieren significativamente de las distorsiones auténticas en el UGC del mundo real, lo que provoca que los modelos fallen cuando se despliegan en escenarios fuera de dominio (OOD).

Metodología: El Marco de Trabajo VIGIL

Los autores proponen VIGIL, un marco basado en LMM diseñado para detectar y localizar distorsiones visuales sin depender de la generación de texto SFT. En su lugar, adapta la arquitectura del LMM para un paradigma de detección de objetos clásico.

1. Construcción del Conjunto de Datos: VIGIL-140K

Para abordar la escasez y diversidad de datos, los autores construyeron el conjunto de datos VIGIL-140K:

Pool de Origen: Un pool de candidatos de más de 1.03 millones de imágenes de COCO, datos de preentrenamiento de CLIP, capturas de pantalla de videos en línea y Unsplash.
Filtrado de Calidad: Un riguroso filtrado utilizando seis modelos de IQA sin referencia (por ejemplo, TOPIQ, TReS, LIQE) para asegurar imágenes de origen de alta calidad (puntuaciones > 85/100) antes de la inyección de distorsión.
Inyección de Distorsión: Una estrategia combinada que aplica 8 categorías principales de distorsión (derivadas de 10 tipos como desenfoque, ruido, compresión, exposición, saturación y nitidez) con 31 subtipos y dos niveles de severidad.
Escala: El conjunto de entrenamiento final contiene más de 140K imágenes distorsionadas con más de 205K áreas de distorsión etiquetadas.

2. Arquitectura del Modelo

VIGIL reconvierte el InternVL-3-8B (basado en Qwen2.5-7B) LMM como un potente codificador-decodificador para la detección:

Sincronización de Multi-Detectores: A diferencia de los detectores estándar que utilizan una única capa de decodificación, VIGIL utiliza múltiples capas ( $M$ ) del decodificador del LLM como detectores paralelos e independientes. Esto aprovecha las características jerárquicas, donde las capas tempranas capturan claves de bajo nivel cruciales para la detección de distorsiones.
Detección Sincrónica: Cada capa está equipada con tokens de consulta de área aprendibles y cabezales lineales para la clasificación (9 clases, incluyendo "no distorsión") y regresión de cajas.
Objetivo de Entrenamiento: El modelo emplea Emparejamiento Húngaro de forma independiente para cada detector para emparejar las predicciones contra la verdad de campo (ground truth), optimizando una pérdida combinada de confianza de clasificación y regresión de caja (GIoU y L1).

3. Estrategia de Generalización S2A

Para cerrar la brecha entre el entrenamiento sintético y las pruebas auténticas:

Retención de Predicciones de No-Distorsión: El modelo retiene las predicciones clasificadas inicialmente como "no distorsión" (fondo). Si una caja es predicha como fondo pero tiene una alta probabilidad para una clase de distorsión (segunda probabilidad más alta), se trata como un candidato válido. Esto mitiga la indistinguibilidad FG-BG común en las distorsiones auténticas e irregulares.
Post-procesamiento: Un proceso de filtrado de dos etapas que involucra la Supresión de No Máximos (NMS) por clase y el umbral de probabilidad ( $T_{Prob}$ ) refina la salida final, equilibrando la minería agresiva de información del truco S2A con la reducción de ruido.

Principales Contribuciones

Conjunto de Datos VIGIL-140K: Un conjunto de entrenamiento a gran escala y rigurosamente filtrado con más de 200K áreas de distorsión etiquetadas que cubren diversos escenarios de UGC y 8 categorías principales de distorsión.
Modelo VIGIL-8B: Un detector basado en LMM que emplea detección sincrónica de múltiples capas y un novedoso truco de generalización S2A (reutilizando pistas de la clase de no distorsión) para mejorar la precisión de la localización.
Rendimiento de Vanguardia (State-of-the-Art): El modelo logra resultados superiores tanto en la detección de distorsión sintética en el dominio como en la localización de distorsión auténtica fuera de dominio (OOD) en comparación con bases sólidas.

Resultados Experimentales

Los autores evaluaron VIGIL-8B frente a LMMs generales (por ejemplo, InternVL, Qwen-VL, GPT-4o/5, Gemini) y modelos dedicados de detección de objetos (por ejemplo, YOLO, Grounding-DINO, DETR).

Detección en el Dominio (Sintética): VIGIL-8B logró un mAP de 0.736 y un AP50 de 0.879, superando significativamente a otros LMMs (que dependen de la generación de texto) y compitiendo con modelos de detección especializados como YOLO-V11 (mAP 0.708) y Grounding-DINO (mAP 0.687).
Detección Fuera del Dominio (Auténtica): En la tarea S2A, VIGIL-8B demostró una clara ventaja con un mAP de 0.482 y un AP50 de 0.502. Esto superó sustancialmente al siguiente mejor modelo (Grounding-DINO con mAP 0.362) y a los LMMs generales (que puntuaron por debajo de 0.24 mAP), validando la efectividad del truco de generalización S2A.
Estudios de Ablación:
- Paradigma de Texto vs. Detección: Reemplazar el cabezal de detección con SFT de generación de texto resultó en una caída significativa del rendimiento (el mAP cayó de 0.736 a 0.457 en tareas sintéticas), confirmando la superioridad de la regresión directa sobre la generación de tokens para la localización.
- Multi-Detector: El uso de múltiples capas del decodificador mejoró el rendimiento S2A en comparación con el uso de solo la última capa.
- Truco S2A: Eliminar la retención de las predicciones de no distorsión redujo el mAP auténtico de 0.482 a 0.407.

Significado y Reivindicaciones

El artículo afirma que VIGIL proporciona una solución convincente para la caracterización perceptual fina de la calidad visual. Al alejarse del SFT impulsado por texto y aprovechar las capacidades de representación jerárquica de los LMM a través de un paradigma de detección de objetos de múltiples detectores, el modelo aborda con éxito los desafíos de precisión y generalización inherentes al análisis de distorsión de UGC.

Los autores enfatizan que su enfoque permite la expansión de la funcionalidad de los LMM para incluir la detección de distorsiones sin comprometer sus capacidades originales de generación de texto, ofreciendo un camino hacia modelos de evaluación de calidad visual más versátiles. El trabajo destaca que, si bien los datos sintéticos son esenciales para escalar, son necesarias estrategias arquitectónicas específicas (como la detección de múltiples capas y la retención de pistas de fondo) para asegurar que estos modelos se generalicen eficazmente a escenarios auténticos del mundo real.