Resumo Técnico: VEXA – Explicações Baseadas em Evidências e Adaptáveis à Persona para a Compreensão de Riscos de Golpes

Problema

Os golpes online em e-mail, SMS e redes sociais evoluíram para um desafio de segurança onipresente, exacerbado pela IA generativa, que permite uma decepção fluente e contextual. Embora os detectores baseados em transformadores alcancem alta precisão preditiva, seus processos de decisão internos permanecem opacos para usuários não especialistas. As técnicas de XAI (IA Explicável) existentes (ex: SHAP, LIME) tipicamente fornecem visualizações ao nível de tokens que são difíceis de interpretar para leigos. Além disso, os Grandes Modelos de Linguagem (LLMs), embora capazes de gerar linguagem natural, frequentemente dependem de conhecimento paramétrico em vez do processo de decisão específico do detector, levando a explicações "infiéis" que podem fabricar justificativas ou fomentar modelos mentais incorretos de risco. Adicionalmente, a pesquisa em psicologia de segurança indica que os usuários variam em sua percepção de risco e estilos de processamento de informação (ex: com base em traços de personalidade), mas as intervenções de segurança atuais frequentemente entregam avisos monolíticos e padronizados que falham em fornecer um suporte adaptativo para diversos aprendizes.

Metodologia: O Framework VEXA

Os autores propõem o VEXA (Explicações com Adaptação de Persona, Baseadas em Evidências e Conscientes da Vulnerabilidade), um framework de nível de sistema projetado para gerar explicações de golpes voltadas ao aprendiz que sejam tanto fiéis ao modelo de detecção quanto estilisticamente adaptadas aos perfis de vulnerabilidade do usuário. O framework opera através de quatro estágios sequenciais:

1. Detecção de Golpe: Um classificador baseado em BERT (especificamente DeBERTa-v3-base, selecionado pelo maior F1 Macro) congelado analisa as mensagens de entrada de e-mail, SMS ou redes sociais para produzir uma predição binária de golpe.
2. Extração de Evidência de XAI: O sistema aplica GradientSHAP no espaço de embedding para identificar tokens salientes que contribuem para a predição. Essas atribuições são agregadas em pontuações de nível de palavra, filtradas para remover stopwords, mas mantendo tokens relevantes para o risco (URLs, menções a moedas, pontuação enfática), formando um conjunto compacto de frases de evidência.
3. Seleção de Persona: Em vez de modelar o usuário individual, o VEXA utiliza personas de vulnerabilidade informadas pela teoria, derivadas dos traços de personalidade do Big Five. Duas personas binárias são definidas:
   • Alta Vulnerabilidade: Caracterizada por alto neuroticismo e baixa conscienciosidade. As explicações para esta persona são projetadas para serem mais calmas, contextuais e de apoio.
   • Baixa Vulnerabilidade: Caracterizada por alta conscienciosidade e baixa reatividade emocional. As explicações para esta persona são concisas, analíticas e priorizam a evidência explícita.
     Estas personas servem como construtos de design para modular o tom e a estrutura, não para prever o comportamento individual.
4. Geração de Explicação por LLM: Um Grande Modelo de Linguagem é instruído com a mensagem original, a evidência de XAI extraída e instruções específicas da persona. O LLM traduz as pistas derivadas do detector em linguagem natural acessível, restringindo-se a referenciar a evidência enquanto adapta o estilo de acordo com a persona selecionada.

Principais Contribuições

O artigo descreve quatro contribções primárias:

1. Framework Baseado em Evidências: Uma abordagem de nível de sistema que garante que as explicações permaneçam fiéis aos modelos de detecção ao fundamentá-las em evidências de decisão derivadas do modelo em contextos de comunicação heterogêneos (e-mail, SMS, redes sociais).
2. Adaptação Orientada por Persona: Uma demonstração de que o estilo de explicação pode ser sistematicamente modulado usando personas de vulnerabilidade informadas pela teoria para acomodar a variabilidade na interpretação de risco do usuário, sem exigir dados do usuário em nível individual ou predição de comportamento.
3. Aplicabilidade Multicanal: Validação do framework através de diversas modalidades de golpes (redes sociais, SMS, e-mail), mostrando um design de explicação consistente sob diferentes restrições de comunicação.
4. Análise Focada em Design: Um enquadramento da compreensão de risco como alfabetização digital crítica, analisando como o embasamento em evidências e a adaptação de persona moldam as explicações de segurança a partir de uma perspectiva de design de sistema.

Resultados Experimentais

Os autores avaliaram o VEXA utilizando um corpus multicanal de mensagens de golpes e legítimas, comparando quatro configurações de geração: LLM Puro, LLM + XAI (neutro), LLM + XAI + Alta Vulnerabilidade e LLM + XAI + Baixa Vulnerabilidade.

• Fidelidade (Faithfulness): Explicações fundamentadas na evidência de XAI (independentemente da persona) alcançaram pontuações de fidelidade altas e consistentes (~0,745–0,749), superando significativamente a linha de base não fundamentada. A condicionação de persona não interferiu na incorporação de tokens de evidência salientes.
• Correção (Confiabilidade Semântica): Fundamentar as explicações em evidências melhorou significativamente a correção semântica (de 0,366 na linha de base para 0,592 na condição apenas com XAI). Esta melhoria ocorreu sem aumentar a complexidade linguística.
• Legibilidade (Variação Estilística): A condicionação de persona modulou com sucesso a complexidade linguística de superfície. A persona de Alta Vulnerabilidade produziu explicações com níveis de grade Flesch–Kincaid (FKGL) mais baixos (12,01), indicando frases mais simples e contextuais. A persona de Baixa Vulnerabilidade gerou FKGLs mais altos (14,39), refletindo uma linguagem concisa e analítica. Crucialmente, essas mudanças estilísticas não degradaram a confiabilidade semântica.
• Avaliação de Especialistas: Especialistas do domínio consideraram as explicações plausíveis e alinhadas com as práticas reais de identificação de golpes. Eles observaram que as diferenças orientadas pela persona eram razoáveis (apoio vs. análise) e que o embasamento em pistas explícitas melhorou a clareza em relação aos avisos genéricos. Os especialistas sugeriram refinamentos adicionais no agrupamento de indicadores relacionados e na distinção entre alegações promocionais e comandos de ação.

Significância e Alegações

O artigo afirma que o VEXA demonstra a viabilidade de gerar explicações adaptáveis à persona e baseadas em evidências para o aprendizado de segurança não formal. O insight central de design revelado é que o embasamento em evidências governa a correção semântica, garantindo que a explicação reflita a lógica real do modelo, enquanto a adaptação baseada em persona opera no nível da apresentação (estilo, tom, estrutura) sob restrições de fidelidade.

Os autores argumentam que esses dois mecanismos não são objetivos conflitantes, mas operam em dimensões complementares. Ao desacoplar o conteúdo semântico (restrito pela evidência) da entrega estilística (modulada pela persona), o framework oferece um equilíbrio principista entre interpretabilidade, personalização e confiabilidade. O trabalho fornece orientação de design para explicações de segurança confiáveis que apoiam a compreensão de riscos sem exigir modelagem invasiva do usuário.

Os autores mantêm modéstia em relação às suas alegações, reconhecendo que a avaliação atual depende da avaliação de especialistas em vez de estudos com sujeitos humanos que meçam o aprendizado ou resultados comportamentais reais. Eles observam que as definições simplificadas de persona podem não capturar toda a diversidade das experiências dos usuários e que trabalhos futuros são necessários para avaliar os efeitos no mundo real sobre a tomada de decisão dos usuários.