All in One: Unifying Deepfake Detection, Tampering Localization, and Source Tracing with a Robust Landmark-Identity Watermark

Este artigo propõe um quadro forense proativo unificado chamado LIDMark, que utiliza uma marca d'água robusta baseada em landmarks faciais e identidade para realizar simultaneamente a detecção, localização de manipulação e rastreamento de fontes de deepfakes.

O essencial

Imagine que você tem um espelho mágico que não apenas reflete sua imagem, mas também esconde um segredo dentro dela. Agora, imagine que alguém tenta usar inteligência artificial (IA) para roubar esse reflexo, colocar o rosto de outra pessoa no lugar do seu e espalhar essa mentira pela internet.

É exatamente contra esse tipo de problema que o novo sistema LIDMark, descrito no artigo, foi criado. Vamos descomplicar como ele funciona usando uma analogia simples.

O Problema: O Detetive de Três Cabeças

Antes, os investigadores de deepfakes (falsificações de vídeo/foto) tinham que usar três ferramentas diferentes para resolver um crime:

1. Detectar: "Isso é falso?"
2. Localizar: "Onde exatamente a cara foi trocada?"
3. Rastrear: "De quem é a foto original?"

Era como ter três detetives trabalhando separadamente, sem conversar entre si. Às vezes, um detectava o crime, mas não sabia quem era o culpado, ou sabia quem era, mas não conseguia provar onde a mentira começou.

A Solução: O "LIDMark" (A Marca da Identidade)

Os pesquisadores criaram uma solução "Tudo-em-Um". Eles inventaram uma marca d'água invisível chamada LIDMark. Pense nela como uma tatuagem secreta feita de dois tipos de tinta que só o sistema consegue ver:

1. A Tinta de Geometria (O Esqueleto): É como se o sistema desenhasse, invisivelmente, um "esqueleto" perfeito do seu rosto (68 pontos de referência, como cantos dos olhos e boca). Essa parte é sensível: se alguém tentar mexer no rosto, esse esqueleto se quebra.
2. A Tinta de Identidade (O Código de Barras): É um código secreto único (como um número de série) que diz "Esta foto pertence ao arquivo X". Essa parte é super resistente: mesmo que tentem apagar ou distorcer a foto, o código sobrevive.

Essas duas tintas são misturadas em uma única "pílula" de 152 dimensões e escondidas na foto original.

O Cérebro: O Decodificador "Cabeças Divididas" (FHD)

Para ler essa marca d'água, eles criaram um cérebro artificial chamado Decodificador de Cabeças Divididas (FHD). Imagine um detetive que tem duas "máscaras" ou "lentes" diferentes no mesmo rosto:

• Lente de Regressão (O Cartógrafo): Ela tenta reconstruir o "esqueleto" original do rosto que estava escondido na foto.
• Lente de Classificação (O Leitor de Código): Ela tenta ler o código de barras secreto para saber quem é o dono da foto.

O truque genial é que esse cérebro usa a mesma base de informações para as duas tarefas, mas separa o trabalho nas duas "cabeças" especializadas.

Como a Detecção Funciona: O Teste de Realidade

Aqui está a parte mais mágica. Quando uma foto suspeita chega, o sistema faz um teste de "consciência":

1. Ele usa a Lente de Regressão para recuperar o "esqueleto original" que estava escondido na foto (mesmo que a foto tenha sido adulterada). Vamos chamar isso de Esqueleto Interno.
2. Ele usa uma ferramenta comum para desenhar o esqueleto do rosto como ele aparece agora na foto manipulada. Vamos chamar isso de Esqueleto Externo.
3. O Choque: O sistema compara os dois.
   • Se a foto for real (ou apenas levemente comprimida), os dois esqueletos batem perfeitamente.
   • Se for um deepfake malicioso, o sistema percebe que o Esqueleto Interno (o original) não combina com o Esqueleto Externo (o falso).

A Analogia do Quebra-Cabeça:
Imagine que você tem um quebra-cabeça de um rosto. Alguém tenta trocar algumas peças por peças de outro rosto.

• O sistema LIDMark guarda a foto original das peças (o esqueleto interno).
• Ele olha para o quebra-cabeça montado na mesa (o rosto atual).
• Se as peças não encaixarem no lugar original, o sistema grita: "ALERTA! Alguém trocou as peças!"
• E o melhor: ele mostra exatamente quais peças foram trocadas (localização) e diz de quem era o quebra-cabeça original (rastreamento).

Por que isso é incrível?

• Invisível: Você não vê nada na foto. É como se a marca d'água fosse um fantasma.
• Robusto: Mesmo que a foto seja cortada, borrada, comprimida ou transformada por IAs avançadas, o sistema consegue recuperar o código e o esqueleto.
• Tudo de uma vez: Não precisa de três softwares diferentes. Um único sistema responde: "É falso", "Aqui está a mentira" e "Quem fez isso".

Em resumo, o LIDMark é como colocar um GPS e um selo de autenticidade dentro de cada foto de rosto. Se alguém tentar adulterar a foto, o GPS mostra onde a estrada mudou e o selo prova quem era o dono original da viagem. É uma ferramenta poderosa para proteger nossa verdade em um mundo onde "ver para crer" já não é mais suficiente.

Resumo técnico

Resumo Técnico: LIDMark Framework

1. Problema e Motivação

O avanço rápido das tecnologias de deepfake (manipulação facial gerada por IA) representa uma ameaça crítica à privacidade e à segurança social. As abordagens forenses existentes apresentam limitações significativas:

• Abordagens Reativas (Passivas): Focam em identificar artefatos de falsificação, mas têm dificuldade em generalizar para técnicas de manipulação nunca vistas anteriormente.
• Abordagens Proativas Atuais: Geralmente tratam tarefas de detecção, localização de adulteração e rastreamento de origem como problemas independentes ou em pares (duas funções).
  • Defesa Proativa: Tenta interromper a geração maliciosa, mas pode interferir em aplicações legítimas.
  • Forense Proativa: Usa marcação d'água (watermarking). Métodos atuais frequentemente usam arquiteturas de "duplo decodificador" para lidar com diferentes níveis de robustez (semi-frágil para detecção vs. robusto para rastreamento).
• A Lacuna Crítica: Não existe um framework unificado capaz de realizar simultaneamente três tarefas fundamentais a partir de um único payload:
  1. Detecção: A imagem é real ou falsa?
  2. Localização: Se falsa, quais regiões faciais foram manipuladas?
  3. Rastreamento: Qual é a identidade da fonte original da imagem?

2. Metodologia Proposta: O Framework LIDMark

Os autores propõem o LIDMark, um framework forense proativo "tudo-em-um" que integra essas três tarefas em uma única estrutura.

A. O Payload de Marca D'água (LIDMark)
O núcleo da solução é uma marca d'água composta de 152 dimensões, que interliga estruturalmente duas informações heterogêneas:

1. Vetor de Landmarks Faciais ($W_L$ - 136 dimensões): Um vetor de coordenadas de 68 pontos de referência faciais (normalizados). Este componente é sensível à adulteração (semi-frágil). Se a face for manipulada, a geometria intrínseca muda, permitindo a detecção e localização.
2. Identificador de Origem ($W_{ID}$ - 16 dimensões): Um vetor bipolar derivado de um hash SHA-256 do nome do arquivo. Este componente é altamente robusto, projetado para sobreviver a transformações de deepfake e permitir o rastreamento da fonte.

B. Arquitetura da Rede
O sistema utiliza um processo de treinamento end-to-end com três componentes principais:

1. Codificador (Encoder): Uma rede de fusão de dois fluxos que embute a marca d'água $W$ na imagem original ($I_{co}$) mantendo a fidelidade visual.
2. Operador de Manipulação Estocástica: Simula diversos ataques (compressão, ruído, e modelos de deepfake como SimSwap, UniFace, StarGAN-v2, etc.) durante o treinamento para garantir robustez.
3. Decodificador de Cabeças Factorizadas (FHD - Factorized-Head Decoder):
   • Diferente das arquiteturas de duplo decodificador complexas, o FHD utiliza uma única espinha dorsal (backbone) compartilhada que extrai características latentes.
   • Essas características são divididas em duas cabeças especializadas:
     • Cabeça de Regressão: Recupera o vetor de landmarks ($\hat{W}_L$).
     • Cabeça de Classificação: Recupera o identificador de origem ($\hat{W}_{ID}$).
   • Essa fatorização permite otimizar conjuntamente tarefas matematicamente distintas (regressão contínua vs. classificação binária).

C. Mecanismo de Verificação: "Consistência Intrínseca-Extrínseca"
Para detecção e localização sem referência à imagem original (blind-reference):

• O sistema compara os landmarks intrínsecos (recuperados pela rede a partir da imagem manipulada) com os landmarks extrínsecos (re-detectados diretamente da imagem manipulada usando bibliotecas de alinhamento facial).
• Detecção Global: Se a distância euclidiana média (AED) entre os dois conjuntos for alta, a imagem é classificada como falsa.
• Localização Local: Como os landmarks têm ordem semântica (ex: olhos, boca), o sistema pode calcular o AED por região, identificando exatamente quais partes do rosto foram alteradas.

3. Contribuições Principais

1. Primeira Solução "All-in-One": O primeiro framework a unificar detecção, localização de adulteração e rastreamento de origem em um único modelo proativo.
2. LIDMark (152-D): A criação de uma marca d'água híbrida que combina um vetor geométrico sensível (136-D) com um identificador robusto (16-D) em um único payload de alta capacidade.
3. FHD (Factorized-Head Decoder): Uma arquitetura inovadora que fatoriza características compartilhadas em cabeças especializadas, resolvendo o compromisso (trade-off) entre robustez e capacidade de carga de dados sem necessidade de múltiplos decodificadores complexos.
4. Mecanismo de Consistência: Uma nova abordagem para detecção e localização baseada na comparação de geometria facial recuperada vs. re-detectada.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados CelebA-HQ e LFW, comparando o LIDMark com métodos de ponta (MBRS, SepMark, DiffMark, KAD-Net, etc.).

• Imperceptibilidade (Qualidade Visual): O LIDMark alcançou PSNR de 44.31 dB e SSIM de 0.99 (em 256x256), superando ou igualando os melhores métodos existentes, mesmo carregando 152 bits de informação (vs. 30-128 bits em outros).
• Robustez a Deepfakes (Rastreamento):
  • O identificador de origem ($W_{ID}$) manteve uma taxa de erro de bits (BER) extremamente baixa (média de 2.55% em 256x256) sob ataques severos de deepfake, superando significativamente os baselines (que frequentemente falham com BER > 30-50%).
• Detecção e Localização:
  • A verificação de consistência "intrínseca-extrínseca" alcançou uma pontuação AUC de 0.9388, demonstrando alta capacidade de distinguir entre distorções comuns e manipulações maliciosas.
  • O sistema conseguiu localizar com precisão as regiões faciais adulteradas, algo que métodos puramente de detecção não fazem.
• Generalização: O modelo treinado no CelebA-HQ demonstrou robustez ao ser testado diretamente no conjunto de dados LFW (diferentes identidades e condições de captura), mantendo alto desempenho.

5. Significado e Impacto

O trabalho representa um avanço paradigmático na forense digital proativa. Ao eliminar a necessidade de múltiplos modelos ou decodificadores complexos para tarefas separadas, o LIDMark oferece uma solução escalável e eficiente.

• Segurança Social: Permite não apenas dizer "isso é falso", mas provar "quem fez" e "onde foi alterado", fornecendo evidências forenses granulares essenciais para investigações legais e combate à desinformação.
• Eficiência Técnica: Demonstra que é possível superar o compromisso clássico entre capacidade de carga, imperceptibilidade e robustez através de uma arquitetura unificada inteligente.

Em suma, o LIDMark estabelece um novo padrão para a forense de imagens faciais, transformando a resposta a deepfakes de uma reação passiva para uma defesa proativa e multifuncional.