RAWDet-7: A Multi-Scenario Benchmark for Object Detection and Description on Quantized RAW Images

Resumen Técnico: RAWDET-7: Un Benchmark Multiescenario para la Detección y Descripción de Objetos en Imágenes RAW Cuantizadas

1. El Problema: La brecha entre el sensor y la visión artificial

La mayoría de los modelos de visión actuales se entrenan con imágenes sRGB (8 bits), las cuales han pasado por un proceso de ISP (Procesador de Señal de Imagen) diseñado para la estética humana. Este proceso (demosaicing, reducción de ruido, corrección de color, etc.) descarta información crítica del sensor que es vital para el razonamiento de las máquinas.

Aunque las imágenes RAW preservan una mayor profundidad de bits y rango dinámico, existen tres obstáculos principales para su uso en IA:

1. Escasez de datos: Faltan datasets de gran escala, bien anotados y con diversidad de sensores.
2. Calidad de anotación: Los datasets RAW existentes suelen tener etiquetas ruidosas, clasificaciones erróneas o falta de objetos pequeños/ocultos.
3. Restricciones de hardware: El procesamiento de imágenes RAW de alta precisión es costoso en términos de memoria y energía. La cuantización (reducir los bits) es una solución necesaria, pero no se sabe cómo afecta la precisión de las tareas de visión complejas.

2. Metodología

Los autores proponen un enfoque integral que abarca desde la creación de datos hasta el benchmarking de modelos:

• Creación del Dataset RAWDET-7: Consolidan y estandarizan cuatro datasets previos, resultando en un corpus de ~25k imágenes para entrenamiento y 7.6k para prueba. Cubren diversas condiciones de iluminación (día/noche), tipos de sensores (Sony, Nikon) y profundidades de bits (10, 12, 14, 24 bits).
• Re-anotación de alta precisión: Utilizaron el modelo fundacional Grounded-DINO 1.5 para re-etiquetar las imágenes en 7 categorías (coche, camión, tranvía, persona, bicicleta, motocicleta y autobús), aplicando un umbral de confianza de 0.8 y validación humana para eliminar "alucinaciones" y mejorar la detección de objetos pequeños.
• Tarea de Descripción de Objetos: Para evaluar la preservación de detalles, generaron descripciones detalladas de objetos usando Gemini-2.5-Pro sobre imágenes sRGB de alta resolución, creando un "ground truth" para comparar con las versiones RAW procesadas.
• Simulación de Cuantización y Escalado: Evaluaron modelos bajo cuantización de 4, 6 y 8 bits utilizando cuatro métodos de escalado de entrada:
  1. Lineal (naïve).
  2. Logarítmico.
  3. $\gamma$-Scaling (escalado con parámetro $\gamma$ aprendible mediante un estimador straight-through).
  4. Log + $\gamma$-Scaling (combinación de ambos).

3. Contribuciones Clave

1. RAWDET-7: El primer benchmark de gran escala y alta calidad específicamente diseñado para la detección y descripción en imágenes RAW.
2. Benchmarking de Cuantización: Un estudio analítico que demuestra cómo diferentes métodos de escalado permiten que modelos entrenados en RAW funcionen eficientemente en baja resolución de bits.
3. Evaluación de Descripción de Objetos: Una nueva métrica para medir qué tanta información semántica y detalle se pierde al procesar imágenes RAW frente a sRGB.
4. Validación de Modelos Fundacionales: Demostración de que incluso los modelos de lenguaje-visión (LVLM) como MM-Grounding DINO pueden adaptarse a datos RAW mediante ajustes mínimos de escalado.

4. Resultados Principales

• Superioridad del Escalado No Lineal: La cuantización lineal simple degrada severamente el rendimiento. Sin embargo, el método Log + $\gamma$-Scaling permite que modelos con solo 4 o 6 bits alcancen un rendimiento comparable o incluso superior al de los modelos entrenados con imágenes sRGB estándar de 8 bits.
• Efecto de la Consolidación: Entrenar con el dataset consolidado RAWDET-7 mejora significativamente la generalización en todos los subconjuntos (sensores y condiciones de luz) en comparación con entrenar con datasets individuales.
• Preservación de Detalles Semánticos: Las pruebas de descripción mostraron que las imágenes procesadas con Log + $\gamma$ mantienen una similitud semántica y un nivel de detalle muy cercanos a las imágenes sRGB de alta resolución, mientras que la cuantización lineal produce descripciones pobres o erróneas.
• Robustez en LVLMs: Los modelos fundacionales muestran una capacidad sorprendente para realizar detección zero-shot en RAW si se aplica un escalado adecuado, superando el rendimiento de sRGB en niveles de 6 bits.

5. Significado e Impacto

Este trabajo es fundamental para el desarrollo de sistemas de visión embebidos y de bajo consumo (como cámaras inteligentes o sensores de vehículos autónomos). Al demostrar que es posible prescindir del ISP tradicional y utilizar datos RAW cuantizados sin perder precisión, los autores abren la puerta a una nueva generación de hardware-software co-diseñado, donde el sensor y el modelo de IA trabajan de forma integrada para maximizar la eficiencia energética y la capacidad de razonamiento.