RAWDet-7: A Multi-Scenario Benchmark for Object Detection and Description on Quantized RAW Images

Resumo Técnico: RAWDET-7 – Um Benchmark Multiescenário para Detecção e Descrição de Objetos em Imagens RAW Quantizadas

1. O Problema

A maioria dos modelos de visão computacional atuais é treinada em imagens RGB processadas por pipelines de Processamento de Sinal de Imagem (ISP). Embora o ISP otimize a imagem para a percepção humana (estética), ele frequentemente descarta informações sensoriais cruciais (como profundidade de bits e faixa dinâmica) que seriam úteis para o raciocínio de máquinas.

Embora imagens RAW preservem esses dados brutos, o avanço da pesquisa em modelos de visão baseados em RAW é limitado pela escassez de datasets de larga escala, bem anotados e que considerem as restrições de hardware, como a quantização de baixa profundidade de bits (necessária para economizar energia e largura de banda em sensores). Além disso, os datasets existentes de imagens RAW sofrem com anotações ruidosas, falta de classes e baixa qualidade de detalhes.

2. Metodologia

Os autores propõem o RAWDET-7, um benchmark abrangente que aborda tanto a detecção quanto a descrição de objetos.

• Construção do Dataset: O RAWDET-7 consolida e padroniza quatro datasets existentes (PASCAL RAW, NOD, RAOD e Zurich), totalizando aproximadamente 25 mil imagens para treinamento e 7,6 mil para teste.
• Re-anotação de Alta Qualidade: Para corrigir erros de datasets anteriores (como alucinações e rótulos incorretos), os autores utilizaram o modelo de fundação Grounded-DINO 1.5 para re-anotar as imagens em 7 categorias de objetos (Carro, Caminhão, Bonde, Pessoa, Bicicleta, Motocicleta e Ônibus), seguindo as convenções MS-COCO e LVIS. As anotações foram validadas por humanos.
• Simulação de Quantização: O dataset permite avaliar modelos sob diferentes níveis de quantização (4-bit, 6-bit e 8-bit) utilizando quatro métodos de escalonamento de entrada:
  1. Linear: Escalonamento uniforme (baixa performance).
  2. Logarítmico: Escalonamento não linear do alcance dinâmico.
  3. $\gamma$-Scaling (Aprendível): Um parâmetro $\gamma$ é otimizado conjuntamente com a rede neural para comprimir o alcance dinâmico de forma eficiente.
  4. Log + $\gamma$-Scaling: Uma combinação de ambos.
• Tarefa de Descrição de Objetos: Para avaliar a preservação de detalhes semânticos, os autores geraram descrições detalhadas de objetos usando o modelo Gemini-2.5-Pro em imagens sRGB de alta resolução, criando um "ground truth" para comparar com as descrições geradas a partir de imagens RAW processadas.

3. Principais Contribuições

• Novo Dataset de Larga Escala: O maior dataset de detecção em RAW disponível, cobrindo diversos sensores, condições de iluminação (dia/noite) e profundidades de bits.
• Benchmark de Quantização: Um framework para estudar o impacto da redução de bits no desempenho de modelos de visão.
• Avaliação de Descrição de Objetos: Uma abordagem inovadora para medir o quanto a informação semântica detalhada é preservada após o processamento de imagens RAW quantizadas.
• Validação de Modelos de Fundação: Demonstração de que modelos de grande escala (como MM-Grounding DINO) podem ser adaptados para RAW via escalonamento de entrada.

4. Resultados Principais

• Superioridade do Escalonamento Não Linear: O escalonamento linear falha drasticamente em baixas profundidades de bits. No entanto, o método Log + $\gamma$-Scaling permitiu que modelos de detecção atingissem um desempenho comparável (ou até superior) ao de imagens sRGB tradicionais, mesmo com quantização de apenas 6 bits.
• Eficácia do Dataset Consolidado: Treinar modelos no RAWDET-7 completo (combinando múltiplos sensores e cenários) resultou em uma melhor generalização para subconjuntos individuais do que treinar apenas em um único dataset.
• Preservação Semântica: As descrições de objetos geradas a partir de imagens RAW processadas com Log + $\gamma$-Scaling mostraram alta similaridade semântica e nível de detalhe próximos às descrições das imagens sRGB de alta resolução.
• Desempenho em VLMs: Mesmo mantendo modelos de linguagem visual (VLMs) congelados, o ajuste apenas do parâmetro de escalonamento ($\gamma$) permitiu que o modelo realizasse detecção zero-shot eficaz em imagens RAW quantizadas.

5. Significância

O trabalho é fundamental para o desenvolvimento de sistemas de visão integrados (end-to-end), onde o hardware (sensor) e o software (modelo de IA) são otimizados juntos. Ele abre caminho para dispositivos de borda (edge computing) e sensores inteligentes que operam com baixíssimo consumo de energia, provando que é possível sacrificar a profundidade de bits (quantização) sem perder a capacidade de compreensão semântica e detecção de objetos complexos.