Resumo Técnico: DetAS – Um Framework Agêntico para Detecção de Objetos com Raciocínio Baseado em Experiência

Declaração do Problema

A detecção de objetos em cenários do mundo real enfrenta desafios significativos devido a diversas degradações de imagem (ex: névoa, chuva, baixa luminosidade, distorção subaquática) e distribuições heterogêneas de objetos. As abordagens existentes geralmente seguem dois paradigmas, ambos os quais exibem limitações inerentes:

1. Aprendizado de Representação: Estes métodos dependem de conjuntos de dados curados com tipos de degradação e categorias de objetos fixos para aprender representações especializadas. Embora eficazes dentro de seus domínios de treinamento, eles falham em generalizar quando os tipos de degradação ou as distribuições de cena sofrem leves mudanças.
2. Pipelines de Ponta a Ponta: Estas abordagens combinam um detector padrão com um módulo de restauração dedicado. No entanto, elas dependem de estratégias de restauração predefinidas e pipelines projetados manualmente. Frequentemente, carecem da flexibilidade para determinar se a restauração é necessária ou qual combinação específica de restauração–detector é a ideal para um dado input, levando a um desempenho subótimo ou à degradação do desempenho quando a restauração altera as fronteiras dos objetos ou as cores do fundo.

Consequentemente, detectores de vocabulário fechado tradicionais lutam para se adaptar a ambientes do mundo real que mudam dinamicamente, onde um único pipeline estático não consegue lidar simultaneamente com variadas condições ambientais e distribuições de objetos.

Metodologia

O artigo propõe o DetAS (Detect in Any Scene), um framework agêntico que reformula a detecção de objetos como um processo de tomada de decisão dinâmica. Em vez de um pipeline estático, o DetAS utiliza um Modelo de Linguagem de Grande Escala Multimodal (MLLM) como um agente central para compor fluxos de trabalho de forma adaptativa, selecionando ferramentas de um conjunto de módulos de restauração e detectores especializados.

O framework consiste em três componentes principais:

1. Restauração de Imagem Auto-Adaptável (SAIR)

O SAIR determina dinamicamente se e como deve aprimorar uma imagem antes da detecção.

• Percepção de Cena: Um módulo de percepção de LLM analisa a imagem de entrada para prever um perfil de cena consciente da degradação (ex: normal, névoa, chuva, subaquática, baixa luminosidade, ruído).
• Seleção de Ferramenta: Com base no rótulo previsto, o SAIR seleciona uma ferramenta de restauração correspondente (ex: desnebulização, remoção de chuva, redução de ruído, aumento de brilho) de um pool disponível.
• Mecanismo de Seleção de Imagem: Crucialmente, o SAIR compara a imagem original com a versão restaurada. Ele seleciona a versão que maximiza as pistas orientadas à detecção (visibilidade do objeto, clareza de bordas, integridade estrutural) em vez da estética visual. Se a restauração degradar o desempenho da detecção, a imagem original é mantida.
• Super-Resolução (SR): Uma etapa final de SR é aplicada para aumentar a resolução espacial para objetos pequenos ou distantes, com o fator de ampliação selecionado automaticamente com base em uma resolução alvo.

2. Detecção de Multi-Expertise (MED)

O MED integra múltiplos detectores especializados em domínio para lidar com diversas distribuições de objetos.

• Pool de Detectores: O sistema mantém um pool de detectores com diversas expertises, incluindo propósitos gerais, objetos densos/pequenos, direção autônoma, visão de drone, subaquáticos e detectores de face.
• Seleção Adaptativa: Dado o conteúdo da imagem e uma lista de categorias alvo, o agente LLM seleciona os top-$K$ detectores mais adequados do pool.
• Agrupamento de Instâncias: Para resolver predições duplicadas de múltiplos detectores, as caixas delimitadoras candidatas são agrupadas com base na sobreposição espacial (IoU) e na similaridade visual de regiões recortadas.
• Raciocínio ao Nível de Instância: Para cada instância agrupada, o sistema extrai a região e a fornece ao LLM para a tomada de decisão final. Isso permite que o LLM foque em objetos específicos, rejeite falsas predições ilusórias e selecione o melhor par caixa delimitadora–rótulo, melhorando a eficiência de tokens e a precisão para objetos pequenos.

3. Colheita de Experiência Auto-Evolutiva (SEEH)

Para abordar a rigidez das decisões baseadas em regras e capturar características finas da imagem, o framework é estendido para o DetAS-X via SEEH.

• Coleta de Experiência: Antes da implantação, o sistema realiza execuções exploratórias em um pequeno conjunto de dados anotados. Ele registra os resultados das decisões ao nível de nó (seleção de restaurador, seleção de SR, seleção de detector) e suas métricas de desempenho correspondentes (ex: pontuações F1) para perfis de cena específicos.
• Recuperação de Experiência: Durante a inferência, o sistema gera uma chave de perfil de grão fino para a imagem de entrada. Ele consulta a memória de experiência para recuperar os top-$K$ perfis históricos mais similares e suas decisões ideais associadas.
• Raciocínio Consciente da Experiência: O agente LLM utiliza essa experiência histórica recuperada juntamente com a evidência visual atual para tomar decisões mais informadas, permitindo que o sistema refine progressivamente sua política e se adapte a diversos cenários sem necessidade de retreinamento.

Principais Contribuições

1. Framework de Detecção Agêntica (DetAS): Um novo framework que formula a detecção como um processo de decisão dinâmica, utilizando um agente MLLM para selecionar adaptativamente ferramentas de restauração e detectores especializados (SAIR e MED) em vez de depender de pipelines fixos.
2. Raciocínio Consciente da Experiência (DetAS-X): A introdução da Colheita de Experiência Auto-Evolutiva (SEEH), que acumula experiência de decisão ao nível de nó a partir de um pequeno conjunto de dados anotados. Isso permite que o sistema aprenda com observações passadas e melhore a qualidade da decisão sob condições de grão fino.
3. Avaliação Abrangente: Experimentos extensos demonstrando que o framework proposto supera significativamente os detectores baseados em MLLM existentes em seis benchmarks desafiadores envolvendo diversas degradações.

Resultados Experimentais

O framework foi avaliado em seis benchmarks: HazyDet (cenas de drones com névoa), MARIS (subaquático), DarkFace (rosto com baixa luminosidade), B-Night e B-Rainy (subconjuntos do BDD100K) e COCO (detecção padrão).

• Ganhos de Desempenho: O DetAS-X alcançou uma melhoria média de 28,36% na pontuação F1 nos seis datasets em comparação com as linhas de base (baselines) de MLLM existentes.
• Melhorias Específicas: Ganhos notáveis foram observados em condições desafiadoras, com uma melhoria de 37,01% no dataset DarkFace para detecção de rosto em baixa luminosidade.
• Comparação: Enquanto os MLLMs de base (ex: Qwen3-VL-8B, GPT-4.1) tiveram dificuldades com degradações severas (frequentemente alcançando pontuações F1 abaixo de 10% em datasets degradados específicos), o DetAS-X alcançou consistentemente alto desempenho (ex: 44,98% em DarkFace, 52,35% em HazyDet).
• Estudos de Ablação: A remoção do SAIR ou MED causou quedas significativas no desempenho (ex: o F1 em DarkFace caiu de 44,98% para 25,84% sem o SAIR). O número ideal de detectores selecionados ($K$) foi identificado como 2; aumentar além disso levou a uma leve degradação devido a falsas predições fora do domínio.

Significância e Alegações

O artigo afirma que o DetAS estabelece uma base sólida para a detecção agêntica, demonstrando que a tomada de decisão dinâmica e consciente do input é superior aos pipelines estáticos para uma detecção de objetos robusta em ambientes complexos e dinâmicos.

• Mudança de Paradigma: O trabalho sugere que a robustez sob diversas degradações requer raciocínio adaptativo, em vez de apenas melhores representações ou pipelines de restauração fixos.
• Escalabilidade: A natureza modular do framework permite a integração de ferramentas e detectores adicionais para suportar aplicações mais amplas, como imagens médicas ou detecção infravermelha, embora estes não tenham sido explicitamente explorados no presente trabalho.
• Potencial Futuro: Os autores postulam que, à medida que as capacidades de grounding dos MLLMs melhorarem, as limitações dos detectores baseados em MLLM em cenários de cena fixa diminuirão, validando ainda mais a detecção agêntica como um paradigma promissor para implantação escalável no mundo real.

Os autores observam que o código será disponibilizado em código aberto após a aceitação.