GenLie: A Global-Enhanced Lie Detection Network under Sparsity and Semantic Interference

1. O Problema

A detecção de mentiras baseada em vídeo visa identificar comportamentos enganosos a partir de pistas visuais. No entanto, o campo enfrenta desafios fundamentais:

• Natureza Esparsa dos Sinais: Os sinais de engano são tipicamente sutis, de curta duração e espalhados ao longo do tempo, tornando-se facilmente ofuscados por informações redundantes.
• Interferência Semântica e Ruído: Variações individuais (identidade do falante) e contextuais introduzem ruído forte que pode ser confundido com sinais de mentira.
• Limitações das Abordagens Atuais:
  • Métodos Explícitos: Dependem de pistas psicológicas pré-definidas (como microexpressões), mas falham em capturar comportamentos sutis ou indefinidos.
  • Métodos Implícitos: Usam redes neurais profundas para aprender padrões, mas lutam com sinais esparsos e interferência semântica.
  • Métodos Híbridos: Combinam ambas as abordagens, mas frequentemente resultam em arquiteturas complexas e com baixa escalabilidade.

O objetivo central é aprender representações que sejam simultaneamente esparsas (focadas no sinal relevante) e discriminativas (capazes de distinguir mentira de verdade independentemente da identidade).

2. Metodologia: GenLie

O GenLie (Global-Enhanced Lie Detection Network) é uma arquitetura de ponta a ponta que adota uma estratégia de modelagem conjunta local-global. O sistema é composto por três módulos principais:

A. Pré-processador (Seleção de Quadros Redundantes)

O vídeo é dividido em segmentos de igual comprimento. De cada segmento, são selecionados os $K$ quadros mais informativos para formar um conjunto $X_i$.

• O sistema avalia seis estratégias de pontuação para selecionar quadros, incluindo baseadas em Unidades de Ação (AU), microexpressões, olhar (gaze), postura e fusão de múltiplas pistas.
• Curiosamente, os experimentos mostraram que a amostragem uniforme (Uniform) foi a mais robusta, superando estratégias heurísticas complexas em vários cenários.

B. Aligner (Alinhador e Extração de Características)

• Utiliza um codificador VideoMAEv2 congelado para extrair características de nível de segmento ($h_i$) dos quadros selecionados.
• Aplica-se pooling médio e uma Rede Neural Perceptron Multicamada (MLP) de duas camadas para refinar as características através de um módulo de re-embedding orientado a tarefas. Isso destaca as pistas de engano latentes e unifica os sinais esparsos em uma representação global ($z$).

C. Cabeça Discriminativa (Discriminative Head)

Para garantir que a representação seja robusta e não dependente da identidade do falante, o modelo emprega duas estratégias de otimização global:

1. Descorrelação do Falante (Speaker-Decorrelation): Utiliza um treinamento adversarial com uma camada de reversão de gradiente (GRL). Um classificador auxiliar tenta prever a identidade do falante a partir da representação global, mas os gradientes são invertidos. Isso força o modelo principal a aprender características que são invariantes à identidade, suprimindo o ruído relacionado ao sujeito.
2. Perda Triádica (Triplet Loss): Uma perda em nível de vídeo que promove a compactação intra-classe (mentiras com mentiras, verdades com verdades) e a separação inter-classe, utilizando âncoras, positivos e negativos amostrados de diferentes falantes para aumentar a robustez.

A função de perda total combina a perda de classificação ($L_{cls}$), a perda de descorrelação ($L_{id}$) e a perda triádica ($L_{tri}$).

3. Principais Contribuições

1. Novo Framework End-to-End: Proposta do GenLie para resolver o problema fundamental de aprender representações esparsas e discriminativas para detecção de mentiras em vídeo.
2. Estratégia Local-Global: Combinação inovadora de seleção de quadros consciente de redundância, re-embedding orientado a tarefas e otimização global (descorrelação adversarial e perda triádica) para gerar embeddings invariantes à identidade.
3. Desempenho Superior: Demonstração de que o modelo supera consistentemente os métodos mais avançados (SOTA) em cenários de alta e baixa pressão.

4. Resultados Experimentais

O GenLie foi avaliado em três conjuntos de dados públicos que cobrem diferentes níveis de estresse:

• MDPE: Corpus chinês em grande escala (baixa pressão).
• Real-Life Trial: Vídeos de tribunal (alta pressão).
• SEUMLD: Dataset de alta pressão com segmentos conversacionais.

Desempenho:

• O GenLie superou consistentemente métodos baseados em pistas explícitas, implícitas e híbridas em todas as métricas (F1, Acurácia e AUC).
• No Real-Life Trial, alcançou a melhor Acurácia (93,39%) e AUC (98,96%), demonstrando robustez contra artefatos de baixa qualidade.
• No SEUMLD, obteve o melhor F1 (42,39%) e AUC (59,15%) em condições adversas.

Estudo de Ablação:

• A remoção do módulo de re-embedding (FSR) causou a maior queda de desempenho, indicando que o refinamento das características do VideoMAEv2 é crucial.
• A descorrelação do falante ($L_{id}$) foi particularmente importante no dataset de tribunal (Real-Life Trial), onde o viés de identidade é forte.
• A amostragem uniforme provou ser mais robusta do que estratégias de seleção baseadas em heurísticas complexas (como gaze ou microexpressões).

5. Significado e Conclusão

O trabalho do GenLie é significativo porque oferece uma solução simples, reprodutível e altamente eficaz para a detecção de mentiras baseada em vídeo. Ao integrar um codificador de vídeo congelado (VideoMAEv2) com uma estratégia de modelagem local-global, o sistema consegue:

• Mitigar o ruído de identidade e contexto, que são os maiores obstáculos para a generalização.
• Capturar pistas sutis e transitórias que métodos anteriores perdem.
• Funcionar bem tanto em cenários controlados quanto em situações de alta pressão do mundo real.

O código fonte está disponível publicamente, facilitando a reprodução e o avanço futuro na área de detecção de engano automatizada.