Resumo Técnico: Síntese Automática de Exemplos Difíceis com Curadoria de Dados Agêntica de Múltiplos Níveis

Declaração do Problema

Modelos de Linguagem de Grande Escala Multimodais (MLLMs) são cada vez mais implantados para tarefas de segurança de conteúdo e moderação matizadas, como a aplicação de políticas de publicidade em tópicos sensíveis (ex: companheirismo algorítmico, conteúdo explícito, atividades ilegais). No entanto, esses modelos permanecem vulneráveis a ataques adversários e casos de borda fora da distribuição (out-of-distribution). O desafio principal reside nos "desconhecidos desconhecidos" — vastas regiões da fronteira da política onde o dano é difícil de definir visualmente, e onde atores maliciosos continuamente evoluem suas táticas usando detalhes visuais sutis, texto ofuscado ou interações cross-modais complexas.

Abordagens tradicionais para enfrentar isso, como a anotação manual e o aprendizado ativo padrão, falham em escalar contra o volume e a complexidade de ameaças multimodais inéditas. Os corpora rotulados existentes frequentemente sofrem de lacunas de cobertura, deixando as plataformas expostas a ameaças emergentes. Além disso, curar manualmente exemplos de borda diversos e difíceis em um vasto espaço de texto-imagem é profundamente não escalável, criando gargalos que exigem revisão por especialistas humanos.

Metodologia

Os autores propõem uma estrutura de curadoria de dados agêntica e automatizada, projetada para minerar sistematicamente "exemplos difíceis" (violações de fronteira e casos de borda ambíguos) sem intervenção humana. O sistema opera em um paradigma iterativo de "Explorar e Mutar" impulsionado por uma arquitetura de múltiplos agentes rodando na base do modelo Gemini 3.

Arquitetura Central

A estrutura consiste em três componentes primários:

1. Agente Arquiteto ($M_A$): Alimentado pelo Gemini 3.1 Pro, este agente sintetiza hipóteses de vulnerabilidade baseadas no texto da política e em um pequeno lote de exemplos semente. Ele utiliza um repositório de memória persistente de tentativas passadas para gerar hipóteses inteiramente novas ou mutar as anteriores que foram bem-sucedidas. O output é uma proposição estruturada em três partes: uma hipótese de vulnerabilidade formal ($h$), um prompt detalhado de geração de imagem ($p_{img}$) e uma ideia de sobreposição de texto ($t_{overlay}$).
2. Agente Operador ($M_O$): Instanciado pelo Nano Banana Pro, este agente materializa os prompts do Arquiteto em imagens compostas sintéticas ($x$).
3. Comitê de Verificação de Múltiplos Níveis: Um sistema hierárquico de avaliadores LLM projetado para resolver ambiguidades e estabelecer a verdade fundamental (ground truth):
   • Comitê de Nível I ($CR_1$): Composto por três instâncias independentes de um modelo eficiente (ex: Gemini 3 Flash). Eles fornecem rótulos iniciais e medem a ambiguidade.
   • Protocolos de Debate e Júri: Se o $CR_1$ não conseguir atingir um consenso unânime, o sistema agrega os rastros de raciocínio em um contexto de debate ($D$). Os avaliadores reavaliam suas posições. Se o desacordo persistir, a instância é escalada para um Comitê de Júri de Nível II ($CR_2$), composto por três instâncias do modelo mais capaz, o Gemini 3.1 Pro, para declarar a verdade fundamental final.

Ciclo de Curadoria de Dados

O sistema itera através de ciclos de exploração e mutação. Ele arquiva ativos sintéticos onde o Modelo Alvo ($M_T$) discorda do consenso unânime do comitê de Nível I (Erros do Alvo) ou onde existe alta ambiguidade (desacordos do Nível I). Esses conjuntos de dados curados servem como sinais de alta qualidade para o Aprendizado em Contexto (ICL) de poucos disparos (few-shot) subsequente.

Estratégia de Avaliação

A estrutura emprega Geração Aumentada por Recuperação (RAG) no tempo de teste. Para uma imagem de consulta não vista, o sistema recupera os $k$ exemplos minerados semanticamente mais similares (usando similaridade de cosseno) do "Pool de Exemplos Difíceis" curado e os integra como demonstrações de poucos disparos. O estudo avalia o impacto de:

• Fonte de Recuperação: Pool Difícil (casos de fronteira adversários) vs. Pool Regular (casos de consenso padrão) vs. Pool de Distribuição Original (rotulados por humanos).
• Prompting: Prompting ingênuo vs. Prompting de Política (precedendo as diretrizes textuais completas da política).
• Backbone de Geração: Comparando pipelines usando agentes da série Gemini 3 vs. agentes da série Gemini 2.5.

Principais Contribuições

1. Nova Arquitetura de Múltiplos Agentes: O artigo introduz um paradigma de "Explorar e Mutar" totalmente automatizado e baseado em hipóteses, compreendendo um Arquiteto, um Operador e um comitê de avaliadores LLM. Este sistema sintetiza "exemplos difíceis" de forma eficiente.
2. Sistema de Verificação Hierárquica: Um comitê de avaliadores LLM de dois níveis é introduzido para resolver e categorizar sistematicamente casos de borda de alta ambiguidade. Os autores demonstram que equilibrar estratégias de geração (75% de exploração novel vs. 25% de mutação) evita o estancamento e maximiza a descoberta de exemplos difíceis.
3. Avaliação Rigorosa de Estratégias de ICL: O artigo destaca a importância crítica do prompting informado pela política e da recuperação dinâmica. Demonstra que a recuperação do pool de exemplos difíceis curados pelo agente melhora significativamente a robustez do modelo, reduzindo a Taxa de Falso Negativo (FNR) de 41,2% para 24,5% no benchmark HoliSafe em comparação com as bases zero-shot, sem depender de rotulagem humana.

Resultados

A estrutura foi avaliada no HoliSafe-Bench público e em um dataset proprietário de Segurança de Anúncios (anônimo).

• Impacto do Prompting de Política: Incorporar o texto explícito da política no prompt foi um pré-requisito fundamental para a detecção robusta. No HoliSafe, isso reduziu a FNR de 0,869 (zero-shot ingênuo) para 0,412.
• Eficácia de Exemplos Difíceis: A recuperação dinâmica de exemplos difíceis sintetizados reduziu ainda mais a FNR para 0,245 (uma melhoria significativa sobre a base zero-shot de 0,412 com política). A recuperação do Pool Difícil superou consistentemente os Pools Regular ou combinados.
• Papel da Capacidade do Agente: A qualidade da pipeline de curadoria influenciou fortemente os resultados. A pipeline da série Gemini 3 (usando o Arquiteto Gemini 3.1 Pro) alcançou uma FNR de 0,245, enquanto a pipeline da série Gemini 2.5 alcançou apenas 0,405, mal melhorando sobre a base zero-shot. Isso sugere que capacidades de raciocínio avançadas são necessárias para sintetizar modos de falha sutis.
• Configuração Ótima: Um estudo de ablação sobre a razão entre hipóteses novas vs. mutadas descobriu que uma divisão de 75% novel / 25% mutada gerou a maior taxa de descoberta de exemplos difíceis (16,7% de taxa de acerto), evitando que o agente ficasse preso em ótimos locais.
• Tamanho de Contexto: Um tamanho de poucos disparos fixo de k=4 foi considerado ideal, equilibrando desempenho com latência.

Significância e Alegações

O artigo afirma que esta estrutura oferece uma solução escalável para avaliar e melhorar o alinhamento de MLLMs em ambientes de risco de alto risco, ambíguos ou em rápida evolução. Ao trazer à tona autonomamente casos de borda complexos, o sistema permite que sistemas de salvaguarda se adaptem proativamente a ameaças visuais emergentes sem o gargalo da custosa anotação humana.

Os autores enfatizam que sua abordagem não apenas acelera a detecção de vulnerabilidades, mas também revela ambiguidades fundamentais nas próprias políticas. Eles posicionam isso como uma mudança de ajustes táticos de prompt para redesenhos estruturais de arquitetura para segurança de conteúdo.

Limitações Reconhecidas:

• Dependência de Modelos de Fronteira: O sucesso da pipeline depende fortemente das capacidades de raciocínio dos modelos de fundação subjacentes (ex: série Gemini 3).
• Lacuna Sintético-Real: Embora o agente Operador gere cenários diversos, replicar com precisão ataques adversários do mundo real específicos (ex: layouts compostos de múltiplas imagens, ataques tipográficos direcionados) continua sendo um desafio para geradores de difusão padrão.
• Sobrecarga de Inferência: O RAG dinâmico introduz latência em comparação com a predição zero-shot, embora os autores sugiram que trabalhos futuros possam destilar esses exemplos em modelos estudantes compactos.
• Troca Precisão-Recall: A mineração agressiva de exemplos difíceis pode deslocar a fronteira de decisão para uma postura mais conservadora, potencialmente degradando levemente a precisão (aumentando os Falsos Positivos) ao mesmo tempo em que melhora significativamente o recall (reduzindo os Falsos Negativos).