MLLM-based Textual Explanations for Face Comparison

Este trabalho analisa as limitações de explicações textuais geradas por Modelos de Linguagem Multimodal (MLLMs) para verificação facial em condições não controladas, demonstrando que, mesmo com decisões corretas, as explicações frequentemente contêm alucinações não verificáveis e propondo um novo framework baseado em razão de verossimilhança para avaliar a força probatória dessas explicações.

O essencial

Imagine que você tem um detetive superinteligente, mas que às vezes inventa detalhes da história para parecer mais esperto. Esse é o papel dos Modelos de Linguagem Multimodal (MLLMs) que a pesquisa de Redwan Sony e sua equipe da Universidade Estadual de Michigan estão estudando.

O objetivo deles é ver se esses "detetives de IA" conseguem não apenas dizer se duas fotos de rosto são da mesma pessoa, mas também explicar o porquê de forma confiável.

Aqui está a explicação do artigo, traduzida para uma linguagem simples e cheia de analogias:

1. O Problema: O Detetive que "Alucina"

O trabalho foca em fotos difíceis: pessoas de perfil, com luz ruim, ou em imagens de vigilância (como câmeras de segurança).

• A Situação: A IA olha para duas fotos e diz: "Sim, é a mesma pessoa!" (o que pode estar correto).
• O Problema: Quando ela tenta explicar por que é a mesma pessoa, ela começa a inventar coisas.
  • Exemplo: A IA diz: "Eles têm a mesma forma de nariz e o mesmo tom de pele."
  • A Realidade: Uma das fotos é de perfil e você nem consegue ver o nariz direito! A IA está "alucinando" (inventando) detalhes que não estão visíveis, apenas usando o que sabe sobre rostos em geral para preencher as lacunas. É como um aluno que não estudou a matéria, mas tenta adivinhar a resposta com uma história que soa convincente, mas é falsa.

2. A Tentativa de Ajuda: O "Auxiliar de Detetive"

Os pesquisadores perguntaram: "E se dermos uma ajuda ao detetive? E se mostrarmos a ele a nota que um sistema tradicional de reconhecimento facial deu?"

• O Experimento: Eles deram ao MLLM as fotos + a "nota de similaridade" (um número que diz o quão parecidas as fotos são) + a decisão do sistema tradicional (Sim/Não).
• O Resultado: O detetive ficou muito melhor em acertar a resposta final (dizer quem é quem).
• A Pegadinha: Mesmo acertando a resposta, a explicação que ele deu continuou sendo cheia de invenções. Ele sabia que era a mesma pessoa, mas continuou inventando por que era a mesma pessoa. A confiança na resposta aumentou, mas a honestidade da explicação não acompanhou.

3. A Nova Ferramenta: O "Medidor de Credibilidade"

Como saber se a explicação é confiável se a resposta final estiver certa? Os pesquisadores criaram um novo método chamado Razão de Verossimilhança (Likelihood Ratio).

• A Analogia: Imagine que você tem dois grupos de pessoas:
  1. O Grupo dos Verdadeiros: Pessoas que dão explicações baseadas no que realmente viram (como "os olhos são iguais").
  2. O Grupo dos Inventores: Pessoas que dão explicações genéricas ou falsas (como "o nariz é igual", mesmo não vendo o nariz).
• O Teste: O novo sistema pega a explicação de texto do detetive e pergunta: "Essa história soa mais como algo que um observador real diria, ou como algo que um inventor diria?"
• O Resultado: Eles descobriram que, mesmo quando o detetive acerta o nome da pessoa, as explicações dele muitas vezes soam mais como "invenções" do que como "observações reais", especialmente em fotos difíceis.

4. Conclusão: O Perigo da Confiança Cega

O estudo traz um alerta importante para segurança e forense:

• Não confie apenas na resposta: O fato de a IA dizer "É o suspeito X" não significa que a explicação dela ("Porque ele tem uma cicatriz no queixo") seja verdadeira.
• O Dilema: Os sistemas tradicionais de reconhecimento facial são como caixas-pretas: são super precisos, mas não falam nada. Os novos modelos de IA são super falantes, mas às vezes mentem sobre o que viram.
• O Futuro: Precisamos de uma maneira de garantir que, quando a IA falar, ela esteja realmente "olhando" para a foto e não apenas "adivinhando" com base no que aprendeu na escola.

Em resumo: A IA está ficando boa em dizer "quem é quem", mas ainda é péssima em explicar "por que" de forma honesta. A pesquisa criou um "detector de mentiras" para as explicações, mostrando que, em casos difíceis, a IA ainda prefere inventar uma história bonita a admitir que não consegue ver os detalhes.

Resumo técnico

1. Problema Investigado

O artigo aborda a confiabilidade das Explicações de Inteligência Artificial (IA) geradas por Modelos de Linguagem Multimodal de Grande Escala (MLLMs) para tarefas de reconhecimento facial. Embora os MLLMs (como GPT-4o e Gemini) sejam capazes de gerar descrições em linguagem natural sobre semelhanças e diferenças entre rostos, o trabalho demonstra que:

• Alucinação e Falta de Fundamentação Visual: Mesmo quando o modelo toma a decisão correta de verificação (casamento ou não-casamento), as explicações textuais frequentemente dependem de "priors linguísticos" em vez de evidências visuais. O modelo pode inventar atributos faciais (ex: formato do nariz, cor da pele) que não são suportados pela imagem, especialmente em cenários não controlados ("in-the-wild").
• Desafio em Condições Extremas: A confiabilidade cai drasticamente diante de variações extremas de pose e imagens de vigilância (como no conjunto de dados IJB-S).
• Limitação da Precisão Categorical: A precisão da decisão binária (Match/No-Match) não garante que a explicação seja fiel ou verificável.
• Trade-off: Sistemas comerciais de reconhecimento facial (COTS) oferecem alta precisão, mas não fornecem explicações textuais, enquanto os MLLMs oferecem explicações, mas com baixa confiabilidade factual.

2. Metodologia Proposta

Os autores propõem uma abordagem sistemática para avaliar a força probatória das explicações textuais, independentemente da correção da decisão final.

A. Estrutura de Avaliação (Framework de Razão de Verossimilhança - LR)

Em vez de confiar apenas na acurácia da decisão, os autores introduzem um framework baseado em Razão de Verossimilhança (Likelihood Ratio - LR):

1. Geração de Dados: Utilizam o conjunto de dados BUPT-CBFace para treinamento e IJB-S (Still-to-Still) para teste.
2. Codificação de Texto: As explicações textuais geradas pelos MLLMs são convertidas em vetores de embedding usando um modelo de texto congelado (text-embedding-3-small).
3. Redução de Dimensionalidade: Aplica-se PCA para reduzir a dimensionalidade, mantendo 97% da variância.
4. Modelagem Estatística: Ajustam Modelos de Mistura Gaussiana (GMM) separados para as distribuições de explicações de pares "Genuínos" (mesma pessoa) e "Impostores" (pessoas diferentes).
5. Cálculo da Razão de Verossimilhança: Para uma nova explicação, calcula-se a probabilidade de ela pertencer à distribuição de genuínos versus impostores ($\Lambda(z) = P_0(z) / P_1(z)$). Isso gera uma pontuação normalizada que mede a força da evidência da explicação, não apenas a decisão correta.

B. Estratégia de Prompting Multi-nível

Para investigar como informações auxiliares afetam a explicação, testam-se quatro cenários de prompting:

1. Grounded (Apenas Treino): Imagens + Rótulo Verdadeiro (Genuíno/Impostor).
2. No-score (Teste): Apenas imagens (sem ajuda externa).
3. Score-only: Imagens + Pontuação de Similaridade de um sistema FR tradicional.
4. Score+Decision: Imagens + Pontuação + Decisão Binária (Match/No-Match) de um sistema FR.

3. Contribuições Principais

1. Avaliação Sistemática de Explicações: Demonstram empiricamente a lacuna entre a correção da decisão de verificação e a fidelidade da explicação textual em condições extremas de pose.
2. Análise de Informação Auxiliar: Investigam se fornecer pontuações e decisões de sistemas de reconhecimento facial tradicionais aos MLLMs melhora a qualidade da explicação (resultado: melhora a decisão, mas não necessariamente a fidelidade da explicação).
3. Novo Framework de Avaliação: Introduzem o método baseado em Razão de Verossimilhança (LR) para quantificar a força evidencial de explicações textuais, indo além da métrica de acurácia categórica.
4. Insights sobre Priors Linguísticos: Fornecem evidências de que MLLMs tendem a confiar em estereótipos linguísticos quando a evidência visual é ambígua (ex: pose extrema), gerando explicações plausíveis mas falsas.

4. Resultados Experimentais

• Desempenho de Verificação:
  • O GPT-4o, sem ajuda, apresenta baixa precisão em pares genuínos devido a variações de pose.
  • A inclusão de pontuações e decisões de sistemas FR (COTS) melhora significativamente a detecção de impostores (até 98,6% para GPT-4o), mas a precisão em pares genuínos permanece desafiadora (75,1%).
  • O Gemini-2.5-Flash performou melhor com informações auxiliares (95,9% em genuínos), mas ainda comete erros de alucinação.
• Separação de Clusters:
  • A análise de t-SNE e métricas de agrupamento (Silhueta, Davies-Bouldin, Fisher Ratio) mostra que adicionar pontuações de FR aos prompts melhora a separabilidade entre as explicações de genuínos e impostores no espaço de embedding.
  • No entanto, mesmo com melhor separação estatística, as explicações ainda contêm atributos não verificáveis.
• Avaliação via Razão de Verossimilhança (LR):
  • O framework LR revela que, embora a precisão categórica melhore com informações auxiliares, a força evidencial das explicações não aumenta consistentemente.
  • Explicações geradas sem rótulos verdadeiros tendem a ter menor confiabilidade evidencial, mesmo quando a decisão final está correta.
  • O uso de múltiplos modelos FR nos prompts introduz variabilidade que pode prejudicar a separação em comparação com o uso de um único modelo de alto desempenho (KPRPE).

5. Significado e Conclusão

O trabalho destaca um problema fundamental na IA explicável (XAI) para biometria: a capacidade de um modelo de gerar uma explicação convincente não é sinônimo de que a explicação seja baseada em evidências visuais reais.

• Implicações para Segurança e Forense: Em aplicações críticas, confiar em explicações textuais de MLLMs como "prova" de identidade é arriscado, pois o modelo pode alucinar atributos que justificam uma decisão correta por motivos errados.
• Direção Futura: A necessidade de desenvolver métodos que liguem diretamente os atributos textuais às evidências visuais (grounding visual) e a criação de métricas de avaliação que não dependam apenas da acurácia da decisão.
• Ferramenta de Avaliação: O framework LR proposto é agnóstico ao modelo e oferece uma maneira padronizada de medir a confiabilidade de explicações em aplicações biométricas, servindo como um "proxy" para a fidelidade da explicação.

Em resumo, o artigo alerta que, embora os MLLMs sejam ferramentas poderosas para gerar texto, sua aplicação em reconhecimento facial explicável ainda sofre de limitações severas de fundamentação visual, exigindo novas abordagens de avaliação e validação antes de serem adotadas em cenários de alta segurança.