DetPO: In-Context Learning with Multi-Modal LLMs for Few-Shot Object Detection

Título: DetPO: Aprendizado em Contexto com LLMs Multimodais para Detecção de Objetos Few-Shot

1. O Problema

Os Grandes Modelos de Linguagem Multimodais (MLLMs) demonstraram capacidades notáveis em tarefas de visão e linguagem, como legendagem de imagens e VQA (Visual Question Answering). No entanto, quando aplicados à detecção de objetos em cenários fora da distribuição (out-of-distribution) — como classes raras, modalidades de imagem não comuns (raios-X, térmico, aéreo) ou tarefas específicas —, eles frequentemente falham em generalizar.

O artigo identifica dois desafios principais:

1. Falha no Aprendizado em Contexto (ICL) Multimodal: Ao contrário do que se esperava, fornecer exemplos visuais de few-shot (poucos exemplos) diretamente ao modelo junto com o nome da classe muitas vezes piora a precisão da detecção em comparação com o uso apenas do nome da classe e instruções textuais. Isso sugere que os MLLMs atuais não conseguem aproveitar efetivamente exemplos visuais ricos para inferir conceitos de detecção devido a estruturas de prompt rígidas pós-treinamento.
2. Acesso e Custo: Os modelos de ponta (frontier) são geralmente acessíveis apenas via API (caixa preta), e os modelos de pesos abertos de última geração são caros demais para fine-tuning em hardware de consumo. Portanto, é necessário um método de otimização que não requer gradientes (gradient-free).

2. Metodologia: DetPO (Detection Prompt Optimization)

Os autores propõem o DetPO, uma abordagem de otimização de prompts em tempo de teste (test-time) que não utiliza gradientes. O objetivo é refinar prompts puramente textuais para alinhar melhor o MLLM com o conceito alvo, utilizando exemplos de few-shot apenas como dados de treinamento para a otimização do prompt, e não como entrada direta durante a inferência final.

O framework opera em três estágios principais:

• Refinamento de Prompt Contrastivo (Contrastive Prompt Refinement):

  • Diferente de detectores tradicionais treinados apenas em positivos, o DetPO aprende com casos de borda e exemplos negativos.
  • Para cada classe, o sistema gera uma descrição inicial baseada nos exemplos positivos.
  • Em seguida, itera refinando essa descrição contrastando a classe alvo com exemplos de outras classes (negativos) e corrigindo erros de detecção (Falsos Positivos e Falsos Negativos) identificados no conjunto de treinamento.
  • O modelo é instruído a ajustar a definição da classe para excluir explicitamente os falsos positivos e incluir explicitamente os falsos negativos, usando imagens com caixas delimitadoras destacadas como evidência visual para o ajuste textual.

• Estimativa de Pontuação de Confiança (Confidence Score Estimation):

  • MLLMs geralmente não fornecem pontuações de confiança por caixa delimitadora (per-box confidence scores).
  • O DetPO instrui o modelo a gerar essas pontuações.
  • Para melhorar a calibração, utiliza-se uma etapa opcional de pós-processamento chamada VQA Score: o modelo é questionado (via VQA) se uma caixa específica contém a classe alvo ("Is this bounding box an instance of class {CLS}?"). A probabilidade normalizada da resposta "Sim" é usada como a pontuação final de confiança, reduzindo falsos positivos agressivos.

• Otimização Iterativa:

  • O processo é repetido até a convergência da precisão no conjunto de treinamento ou atingir um número máximo de iterações.
  • O prompt final otimizado é então usado para inferência em dados não vistos.

3. Contribuições Principais

1. Benchmarking e Análise de ICL: Demonstram empiricamente que o uso direto de exemplos visuais de few-shot em prompts multimodais para detecção de objetos frequentemente degrada o desempenho em MLLMs generalistas, ao contrário do que ocorre em tarefas de classificação ou VQA.
2. Framework DetPO: Propõem um método de otimização de prompt black-box que converte exemplos visuais de treinamento em instruções textuais otimizadas, melhorando o alinhamento de conceitos sem necessidade de fine-tuning.
3. Calibração de Confiança: Introduzem uma técnica simples de pós-processamento (VQA Score) que melhora significativamente a precisão ao calibrar as pontuações de confiança das caixas delimitadoras.
4. Novo Estado da Arte (SOTA): Estabelecem um novo recorde para detecção de objetos few-shot em black-box, superando detectores especializados e métodos anteriores de otimização de prompt.

4. Resultados Experimentais

Os experimentos foram conduzidos no benchmark Roboflow20-VL (20 conjuntos de dados diversos, incluindo imagens aéreas, médicas e industriais) e no subset LVIS Rare 50.

• Desempenho Geral: O DetPO supera consistentemente os modelos baseline.
  • No Roboflow20-VL, o Gemini 3 Pro com DetPO alcançou 26.4 mAP, superando o melhor detector especializado (LLMDet, 17.2 mAP) em 9.2 pontos percentuais.
  • O Qwen3-VL (30B-A3B) com DetPO atingiu 21.6 mAP, uma melhoria de 9.7% sobre o prompt baseline.
• Comparação com Outros Métodos: O DetPO superou técnicas de otimização de prompt genéricas como GEPA e MIPROv2, que falharam em melhorar significativamente o desempenho ou até o degradaram.
• Transferibilidade: O método funcionou bem em diferentes arquiteturas e escalas de modelos (Qwen 2.5-VL 7B/72B, Qwen 3-VL 8B/30B, Gemini 3 Pro).
• Análise de Erros: O DetPO reduziu drasticamente a confusão entre classes (ex: distinguir "porco jovem" de "porco adulto") e mitigou falsos positivos agressivos em detecção de defeitos.
• Eficiência: Embora a fase de otimização tenha custo computacional, o DetPO é 1.2x mais rápido e usa 81% menos tokens do que o GEPA, pois evita loops de otimização extensos e foca na geração de um prompt final eficiente.

5. Significado e Conclusão

O trabalho demonstra que a otimização no nível do prompt é uma alternativa viável e poderosa ao fine-tuning completo para adaptar MLLMs generalistas a tarefas de detecção de objetos específicas e raras.

• Viabilidade Prática: Permite que usuários utilizem modelos de API fechados (como Gemini) para tarefas de detecção de alta precisão sem acesso aos pesos do modelo.
• Mudança de Paradigma: Sugere que, para tarefas espaciais complexas como detecção, a qualidade da instrução textual (prompt) é mais crítica do que a simples adição de exemplos visuais no contexto.
• Futuro: Os autores especulam que, com a evolução dos MLLMs fechados, a aplicação do DetPO em modelos de próxima geração poderá superar até mesmo os detectores especializados de pesos abertos que foram fine-tuned.

Em resumo, o DetPO preenche a lacuna entre a generalização zero-shot e a adaptação específica de tarefa, oferecendo uma solução robusta para a detecção de objetos em cenários do mundo real onde os dados são escassos e as classes são desconhecidas.