Dimensional Coactivation for Representational Consistency in Frozen Vision Foundation Models

Resumo Técnico: Coativação Dimensional para Consistência Representacional em Modelos Fundacionais de Visão Congelados

1. Definição do Problema: Consistência Representacional (CR)

O artigo aborda uma lacuna na forma como os modelos fundacionais de visão congelados são avaliados. Embora seja conhecido que esses modelos extraem características, os autores postulam que eles também impõem um sistema de coordenadas aprendido para organizar a estrutura visual. O problema central é a Consistência Representacional (CR): determinar se um único modelo congelado representa uma única entrada como internamente coerente através de suas subregiões semânticas.

Diferentemente das medidas de similaridade padrão (por exemplo, CKA, RSA) que comparam representações entre diferentes modelos, camadas ou distribuições, a CR é uma medição intra-amostra, intra-modelo, inter-região. Ela questiona se as regiões semânticas da mesma identidade física (por exemplo, olhos, nariz e boca de um rosto) permanecem coordenadas dentro do espaço de características do modelo. Os autores argumentam que imagens sintéticas (deepfakes) podem reproduzir regiões localmente plausíveis, mas falham em manter a estrutura representacional que as conecta, criando uma inconsistência interna detectável por um modelo congelado treinado com imagens do mundo real.

2. Metodologia: Coativação Dimensional (CD)

Para medir a CR, os autores introduzem a Coativação Dimensional (CD), um operador por dimensão projetado para preservar as propriedades específicas de um sistema de coordenadas congelado.

Mecanismo Central:
Dadas duas regiões semânticas $r_1$ e $r_2$ com matrizes de tokens de patch amostrados $F_{r_1}, F_{r_2} \in \mathbb{R}^{K \times D}$, a CD calcula a coativação das mesmas dimensões de características entre essas regiões:
$$\text{CD}(F_{r_1}, F_{r_2})[d] = \frac{1}{K} \sum_{k=1}^{K} F_{r_1}[k, d] \cdot F_{r_2}[k, d]$$
Isso resulta em um vetor de tamanho $D$ (a dimensão da característica), representando a diagonal do produto de tokens de patch entre regiões. Para um rosto, o método concatena vetores de CD para os pares olhos-boca, olhos-nariz e boca-nariz para formar uma impressão digital de 3.072 dimensões (usando $D=1024$).

Liberação de Restrições:
Um aspecto crítico da metodologia é a evitação deliberada de etapas de pré-processamento de similaridade padrão, denominadas "liberação de restrições". Os autores argumentam que operações úteis para comparação entre modelos são incompatíveis com medição intra-amostra:

• Sem Centralização: A ativação média é preservada porque pode codificar coerência de identidade em vez de viés.
• Sem Normalização L2: A magnitude é preservada porque dimensões mais fortes podem carregar cargas de identidade mais pesadas.
• Sem Acoplamento Completo de Gram: Interações cruzadas entre dimensões fora da diagonal são descartadas para evitar ruído e preservar a estrutura diagonal onde o sistema de coordenadas congelado é legível.

Pipeline:

1. Extração de Características: Um backbone DINOv3 ViT-L/16 congelado extrai tokens de patch intermediários do bloco 18 (evitando tokens normalizados finais).
2. Atribuição de Região: Um parser FaRL congelado atribui tokens a regiões semânticas (olhos, boca, nariz).
3. Geração de Impressão Digital: Vetores de CD são computados para o triplo "olhos-boca-nariz" (OBN).
4. Validação: Uma sonda linear leve (regressão logística) é treinada apenas no conjunto de dados de origem (FF++ c23) para avaliar a capacidade da impressão digital de detectar incoerência em conjuntos de dados de destino (CelebDF-v2, DFD) zero-shot.

3. Principais Contribuições

1. Definição de CR: O artigo define Consistência Representacional como um eixo de medição distinto para modelos fundacionais congelados, focando na coerência intra-amostra em vez de similaridade inter-modelo.
2. Operador CD: Propõe a CD como um instrumento por dimensão que mede coerência entre regiões sem colapsar o espaço de características em resumos escalares ou aplicar restrições de normalização padrão.
3. Liberação de Restrições: Demonstra que remover centralização, normalização L2 e acoplamento entre dimensões não é meramente uma simplificação, mas uma necessidade para preservar o sinal de coerência em um sistema de coordenadas fixo.
4. Dependência do Backbone: Valida que o sucesso da medição de CR depende da estabilidade do sistema de coordenadas por dimensão do backbone (por exemplo, DINOv3) e não apenas do pipeline de extração de regiões.

4. Resultados Experimentais

O método foi validado usando detecção de deepfake entre conjuntos de dados, onde modelos treinados em FF++ c23 foram avaliados zero-shot em CelebDF-v2 e DFD.

• Desempenho: A impressão digital CD OBN alcançou 0,9106 AUC no CelebDF-v2 e 0,9289 AUC no DFD.
• Ablação de Restrições: Reintroduzir restrições padrão degradou severamente o desempenho:
  • Adicionar centralização reduziu o AUC do CelebDF-v2 para 0,459.
  • Adicionar normalização L2 reduziu para 0,862.
  • Adicionar acoplamento completo de Gram (entre dimensões) reduziu para 0,478.
• Sensibilidade ao Backbone: Substituir o DINOv3 por FaRL (um modelo de parsing supervisionado) colapsou o AUC do CelebDF-v2 para 0,582, indicando que o FaRL carece do sistema de coordenadas por dimensão estável necessário para a CR.
• Seleção de Região: O triplo "olhos-boca-nariz" foi encontrado como ótimo. Incluir cabelo (variável espacialmente) ou pele (diluir o sinal) reduziu o desempenho.
• Escalar vs. Vetor: Reduzir a impressão digital CD para resumos escalares (por exemplo, média CD, similaridade de cosseno) resultou em AUCs entre 0,47 e 0,66, provando que o sinal discriminativo está distribuído através das dimensões de características e perdido na agregação.

5. Significado e Alegações

O artigo posiciona a CD não como um detector universal de deepfakes superior a todos os métodos existentes, mas como um princípio de medição que revela um tipo específico de sinal: coerência relacional, dimensional de características e dependente do backbone.

• Medição sobre Detecção: A contribuição primária é a demonstração de que modelos fundacionais congelados contêm "resíduos de coerência" mensuráveis que expõem deepfakes sem ajuste fino. O sinal é relacional (como as regiões interagem) em vez de regional (como uma única região parece).
• Estabilidade do Sistema de Coordenadas: Os resultados sugerem que modelos como o DINOv3, treinados com autodistilação, desenvolvem um sistema de coordenadas estável onde os mesmos fatores semânticos ativam as mesmas dimensões através de posições espaciais. Essa propriedade é essencial para a medição de CR e está ausente em modelos otimizados para limites categóricos (como o FaRL).
• Limitações: Os autores notam modestamente que o método é atualmente específico para rostos, depende de uma profundidade de bloco específica (bloco 18) que foi selecionada empiricamente e não foi validado contra manipulações modernas baseadas em difusão ou robustez demográfica. O artigo enquadra o trabalho como uma ferramenta de medição fundamental em vez de um modelo forense implantável.