Resumo Técnico: Quando os Olhos Traem a IA

Declaração do Problema

Avanços recentes em modelos generativos (por exemplo, Stable Diffusion 3, FLUX.1, DALL·E 3, Midjourney v6) eliminaram efetivamente os artefatos de baixo nível que anteriormente serviam como base primária para a detecção de conteúdo gerado por IA (AIGC). Sinais como anomalias de frequência, traços de superamostragem e impressões digitais em nível de pixel estão agora amplamente mitigados, fazendo com que detectores estabelecidos (NPR, UnivFD, AIDE) colapsem para desempenho próximo ao acaso em conjuntos de dados contemporâneos centrados em pessoas. Além disso, o cenário de ameaças deslocou-se para falsificações de "edição parcial", onde modelos de inpainting regeneram regiões localizadas de fotografias autênticas. Essas falsificações mantêm as estatísticas fotométricas globais da imagem original, evadindo detectores que dependem de pistas distribuídas globalmente.

O artigo argumenta que a detecção exige uma mudança da análise estatística de baixo nível para um eixo de consistência semântica de alto nível. Especificamente, ele postula que, embora os geradores possam produzir rostos localmente fotorealistas, eles lutam para manter a coerência geométrica do olhar social em interações entre múltiplas pessoas.

Metodologia

1. Consistência do Olhar Social como Pista Semântica

Os autores definem Consistência do Olhar Social como a coerência mútua da direção do olhar, do alinhamento cabeça-olho e do posicionamento da pupila entre indivíduos interagindo. Diferentemente de trabalhos anteriores que tratam o olhar como um alvo de reconhecimento de ação ou focam em priores anatômicos intra-faciais (por exemplo, irregularidades na forma da pupila), este trabalho trata o olhar como uma previsão forense falseável. Fotografias autênticas satisfazem essas relações geométricas por construção, ao passo que os modelos contemporâneos de inpainting violam sistematicamente essas relações na região ocular.

2. Construção do Conjunto de Dados Custom Gaze

Para isolar a pista do olhar das impressões digitais confusas dos geradores, os autores construíram o conjunto de dados Custom Gaze (46.830 imagens pareadas).

• Preservação de Identidade ao Nível de Par: Cada imagem falsa é gerada a partir de uma imagem fonte real (derivada do conjunto de dados OI Mutual Gaze) regenerando apenas a região dos olhos usando FLUX.1-Fill. A identidade base, a cena, a iluminação e a composição global permanecem invariantes.
• Bloqueio de Atalhos: Essa estrutura pareada impede que os modelos aprendam impressões digitais globais específicas do gerador (por exemplo, resíduos espectrais específicos do FLUX) como atalhos, forçando o modelo a depender das diferenças fundamentadas na anatomia na região dos olhos.
• Mascaramento: Uma máscara específica ($M_{eye}$) cobrindo a faixa vertical $[0.25h, 0.55h]$ da caixa delimitadora do rosto é usada para inpainting.

3. Supervisão de Legendas Composicionais por Blocos

O artigo introduz um esquema de supervisão inovador para injetar um esqueleto de raciocínio no treinamento de Modelos de Visão-Linguagem (VLMs), especificamente o FakeVLM (LLaVA-v1.5 + Vicuna-7B).

• Estrutura: Em vez de geração livre ou classificação binária, o modelo é treinado para produzir uma legenda de 5 blocos: Decisão $\to$ Cena $\to$ Método (raciocínio baseado no olhar) $\to$ Evidência $\to$ Conclusão.
• Diversidade Composicional: O esqueleto de raciocínio (o fluxo lógico) é invariante, mas a lexicalização superficial é variada. Ao amostrar de pools macro de 5 variantes para 4 posições, o sistema gera 1.250 legendas únicas a partir de apenas 20 entradas de pool macro.
• Racional: Este design desacopla a consistência do raciocínio da diversidade de saída, prevenindo o colapso de modo enquanto garante que o modelo internalize o caminho de raciocínio específico "centrado no olhar" em vez de recorrer a explicações baseadas em textura.

4. Protocolo de Treinamento

• Ajuste Fino Misto: O modelo é ajustado finamente em uma mistura do conjunto de dados Custom Gaze e do conjunto de dados FakeClue existente (supervisão centrada em textura) para prevenir o colapso distribucional em categorias não pessoais.
• Seleção de Checkpoint: Os autores selecionam o checkpoint com base na Acurácia Balanceada (BA) em vez da perda de validação, observando um desacoplamento significativo onde a minimização da perda não correlaciona com o desempenho balanceado por classe.
• Arquitetura: O ajuste fino eficiente em parâmetros (LoRA) é aplicado ao codificador de visão e ao LLM, com ajuste fino completo no projetor visão-linguagem.

Principais Contribuições

1. Um Novo Eixo de Detecção (C1): A introdução da Consistência do Olhar Social como um eixo de detecção semântico ortogonal aos paradigmas de baixo nível. Os autores fornecem uma explicação mecânica de quatro passos que explica sua transferibilidade entre geradores:

   • Bloqueio de atalhos de edição pareada: Impede a memorização de impressões digitais do gerador.
   • Transferência de dificuldade de difícil para fácil: O treinamento em edições parciais (difíceis) melhora o desempenho na síntese completa (fácil).
   • Preservação de prior CLIP: Aproveita representações pré-treinadas do CLIP compartilhadas entre geradores.
   • Fraqueza espectral compartilhada da família de difusão: Explora fraquezas espectrais consistentes em estruturas perioculares entre geradores baseados em difusão.

2. Design de Supervisão (C2): A proposta de Supervisão de Legendas Composicionais por Blocos, que usa um esqueleto de raciocínio fixo com variação superficial para forçar o modelo a articular por que uma imagem é falsa com base na geometria do olhar, em vez de apenas prever um rótulo.

3. Validação Cross-Arquitetura (C3): Demonstração de que a pista do olhar é agnóstica à arquitetura. O design de supervisão melhora um VLM de 7B parâmetros (FakeVLM) e uma base de visão apenas (Effort) em múltiplos benchmarks, provando que o sinal não é específico de uma única arquitetura de modelo.

Resultados Experimentais

O método foi avaliado em três benchmarks: Custom Gaze (falsificações difíceis de edição parcial), COCOAI Person (AIGC de pessoa única) e COCOAI Interaction (interação entre múltiplas pessoas).

• Ganhos de Desempenho:
  • No subconjunto COCOAI Interaction (o benchmark diagnóstico central), o método proposto melhorou a Acurácia Balanceada (BA) de 67,8% para 71,5% (+3,7 pp) sobre a origem FakeVLM, com um ganho massivo em Macro-F1 (+7,5 pp) e MCC (+13,3 pp).
  • No COCOAI Person, a BA melhorou de 83,0% para 84,3% (+1,3 pp).
  • No Custom Gaze, o método alcançou desempenho quase perfeito (99,9% BA), saturando o teto de distribuição interna.
• Comparação com Baselines:
  • Detectores de baixo nível (AIDE, NPR, UnivFD) colapsaram para desempenho próximo ao aleatório (BA $\le$ 51,5%) no subconjunto de interação.
  • O modelo proposto de 7B superou o concorrente de 13B parâmetros SIDA-13B em +14,4 pp na BA média e +30,5 pp no MCC, demonstrando que o design de supervisão supera a contagem de parâmetros.
• Análise da Matriz de Confusão: Os ganhos foram impulsionados por uma recuperação substancial de classificações "falsas" (+17 no subconjunto de interação) com degradação próxima de zero na classificação "real", descartando um artefato de "prever-tudo-como-falso".
• Transferência Cross-Arquitetura: O ajuste fino da base de visão apenas Effort no conjunto de dados Custom Gaze produziu padrões semelhantes de saturação de distribuição interna e transferência cross-distribuição, confirmando a independência da pista em relação à arquitetura do VLM.

Significado e Alegações

O artigo alega que, à medida que os artefatos de baixo nível recuam, a consistência sociosemântica torna-se a fronteira crítica para a detecção de AIGC. O significado deste trabalho reside em:

1. Mudança de Paradigma: Mover a detecção de estatísticas de pixels para relações geométricas de alto nível (consistência do olhar) que os modelos de difusão atuais não conseguem impor explicitamente.
2. Supervisão Eficaz: Demonstrar que como um modelo é solicitado a explicar sua previsão (raciocínio estruturado versus livre ou binário) é tão consequente quanto a própria arquitetura do modelo.
3. Robustez: Fornecer evidências de que uma pista derivada de um único gerador (FLUX.1-Fill) e de uma tarefa específica (edição parcial de olhos) pode generalizar para cenários de síntese de imagem completa com múltiplos geradores, em diferentes famílias de modelos.

Os autores reconhecem limitações, incluindo especialização de domínio (apenas centrado em pessoas), dependência de um único inpainter para a construção do conjunto de dados e uma tendência ao "excesso de confiança em cartões" (confiança excessiva em pistas de olhar) em cenários de pessoa única, o que eles sugerem que poderia ser mitigado por mecanismos de controle principistas em trabalhos futuros.