ORCA: An Agentic Reasoning Framework for Hallucination and Adversarial Robustness in Vision-Language Models

1. O Problema

Os Modelos de Visão-Linguagem de Grande Escala (LVLMs) demonstraram capacidades multimodais impressionantes, mas sofrem de duas vulnerabilidades críticas que limitam sua aplicação em cenários de alto risco (como diagnóstico médico ou sensoriamento remoto):

• Alucinações Intrínsecas: Os modelos frequentemente afirmam a existência de objetos ou detalhes visuais que não estão presentes na imagem, devido a erros de modelo, vieses nos dados de treinamento ou padrões de co-ocorrência aprendidos.
• Vulnerabilidade a Ataques Adversariais: Pequenas perturbações imperceptíveis nas imagens (ou prompts de texto) podem enganar os LVLMs, fazendo com que gerem previsões incorretas com alta confiança.
• Limitações das Soluções Atuais: Métodos existentes para mitigar esses problemas geralmente exigem acesso aos pesos do modelo, retreinamento custoso (como adversarial training), ou dependem de pipelines de inferência estáticos que não se adaptam a falhas inesperadas.

2. Metodologia: O Framework ORCA

O artigo propõe o ORCA (Observe–Reason–Critique–Act), um framework de raciocínio agencial que opera exclusivamente no momento da inferência (inference-time), sem necessidade de acesso aos pesos internos do modelo ou retreinamento.

O sistema funciona através de um loop iterativo que integra um agente baseado em LLM com uma suíte de modelos de visão pequenos e leves (≤ 3B parâmetros):

1. Observe (Observar): Ao receber uma consulta, o agente consulta inicialmente o LVLM de base e uma série de ferramentas de visão (como detectores de objetos e outros VLMs) para obter evidências iniciais.
2. Reason (Raciocinar): O agente avalia individualmente as respostas de cada ferramenta, verificando se o conteúdo recuperado suporta ou contradiz a consulta do usuário.
3. Critique (Crítica/Consistência): O agente realiza uma verificação de consistência coletiva. Se houver concordância entre as ferramentas, a resposta é finalizada. Se houver inconsistências (ex: um detector diz "não há pessoa" enquanto o LVLM diz "uma pessoa está jogando frisbee"), o sistema entra em um loop de refinamento.
4. Act (Agir/Refinar): Para resolver inconsistências, o agente gera consultas de evidência guiadas por atributos. Por exemplo, se a presença de um objeto é duvidosa, o agente pergunta sobre atributos específicos (cor, localização, contagem) para as ferramentas de visão, criando um pool diversificado de evidências para cruzar informações.
5. Memória e Rastreabilidade: Todas as consultas, respostas e decisões são armazenadas em um buffer de memória, permitindo a auditoria do processo de decisão e a capacidade de voltar a passos anteriores se necessário.

Diferencial Técnico: O ORCA não processa imagens diretamente; o agente LLM processa apenas o texto gerado pelas ferramentas de visão. Isso torna o raciocínio mais robusto a perturbações adversariais que afetam a modality visual, pois a validação ocorre no domínio textual através da diversidade arquitetural das ferramentas.

3. Principais Contribuições

• Framework Livre de Treinamento: O ORCA melhora a robustez de LVLMs pré-treinados sem modificar seus pesos, sem exigir dados adicionais e sem acesso aos parâmetros internos do modelo.
• Mitigação Dupla: O sistema aborda simultaneamente alucinações intrínsecas e ataques adversariais externos. A robustez adversarial é uma propriedade emergente resultante da diversidade arquitetural e do raciocínio baseado em inconsistências.
• Auditoria e Transparência: Ao registrar traços de raciocínio intermediários, o ORCA fornece um processo de decisão auditável, crucial para aplicações críticas.
• Generalização: O framework é agnóstico ao modelo, funcionando com diferentes arquiteturas de LVLMs (ex: mPLUG-Owl, MiniGPT-4, Qwen-VL) e diversos tipos de ferramentas de visão.

4. Resultados Experimentais

Os autores avaliaram o ORCA em três cenários: imagens limpas (benignas), imagens perturbadas adversarialmente sem defesa e imagens perturbadas com defesas tradicionais aplicadas.

• Redução de Alucinações (Benchmarks POPE e MME):

  • No benchmark POPE, o ORCA melhorou o desempenho de LVLMs autônomos em +3,64% a +40,67% em precisão e F1-score.
  • No benchmark MME, o ORCA elevou a pontuação total de modelos mais fracos (como mPLUG-Owl) de 90 para 180, praticamente eliminando erros de existência de objetos.
  • Na tarefa de geração de legendas (AMBER), houve reduções drásticas nas alucinações (ex: redução de 58% na métrica Hal para o MiniGPT-4).

• Robustez Adversarial:

  • Sob ataques adversariais (Adversarial Illusions e AttackVLM), o ORCA manteve uma precisão média superior, alcançando um ganho médio de +20,11% em precisão sobre os LVLMs de base.
  • Mesmo quando os ataques visavam múltiplos modelos simultaneamente (incluindo as ferramentas auxiliares), a diversidade do sistema ORCA permitiu manter a precisão acima de 79%.

• Combinação com Defesas Tradicionais:

  • Ao combinar o ORCA com técnicas de defesa pixel-level (como compressão JPEG e feature squeezing), o desempenho foi ainda maior, com ganhos adicionais variando de +1,20% a +48,00% em comparação aos LVLMs de base com as mesmas defesas.

5. Significado e Conclusão

O ORCA representa um avanço significativo na construção de sistemas multimodais confiáveis. Ele demonstra que a robustez não depende apenas da escala do modelo, mas da arquitetura de interação e mecanismos de raciocínio.

• Viabilidade Prática: Oferece uma solução viável para cenários onde o retreinamento é impossível ou os modelos são "caixas-pretas".
• Compromisso (Trade-off): O método introduz uma latência de inferência maior (aproximadamente 33x mais lento que um LVLM isolado devido às múltiplas iterações e chamadas de ferramentas), o que é considerado aceitável em domínios de alto risco onde a precisão e a segurança são prioritárias.
• Futuro: O design modular do ORCA permite a integração futura de ferramentas especializadas e modelos mais rápidos, posicionando-o como uma base flexível para a próxima geração de IA multimodal robusta e auditável.

Em resumo, o ORCA valida que o raciocínio agencial estruturado, combinado com a diversidade de modelos, é uma estratégia poderosa para mitigar falhas fundamentais em IA generativa visual.