Application of integrated gradients explainability to sociopsychological semantic markers

Resumo Técnico: Aplicação de Explicabilidade por Gradientes Integrados a Marcadores Sociopsicológicos Semânticos

Definição do Problema
Embora os modelos de aprendizado profundo, particularmente os Modelos de Linguagem de Grande Escala (LLMs) baseados na arquitetura Transformer (ex: BERT, RoBERTa), tenham alcançado um desempenho de estado da arte na classificação de dados textuais para sentimento e marcadores sociopsicológicos, eles operam como "caixas pretas". As abordagens atuais tipicamente fornecem saídas de classificação ao nível da sentença ou do documento, obscurecendo as palavras específicas que impulsionam essas previsões. Essa falta de granularidade limita a interpretabilidade necessária para que pesquisadores compreendam os mecanismos linguísticos por trás de constructos sociopsicológicos. Além disso, embora existam métodos de atribuição, sua adequação para a análise de nível de palavra de marcadores matizados como "agência" (orientação para objetivos e realização) não foi sistematicamente avaliada, particularmente em relação ao equilíbrio entre complexidade computacional e confiabilidade da atribuição. Adicionalmente, um desafio comum na pesquisa sociopsicológica é a escassez de grandes conjuntos de dados rotulados para constructos específicos, o que exige métodos capazes de extrair padrões semânticos significativos a partir de dados limitados.

Metodologia
O artigo propõe um framework para explicabilidade ao nível da palavra usando Gradientes Integrados (IG) aplicados a marcadores sociopsicológicos. A metodologia é dividida em três fases principais:

1. Seleção e Otimização do Método de Atribuição:

   • Os autores avaliaram diversos métodos de estado da arte, incluindo IG padrão, IG Sequencial, IG Discretizado, DeepLIFT e GradientSHAP.
   • O desempenho foi avaliado usando métricas de fidelidade (faithfulness): Abrangência (Comprehensiveness — o quanto a saída do modelo cai quando as palavras com maior pontuação são removidas) e Suficiência (Sufficiency — o quão bem a saída do modelo é preservada quando apenas as palavras com maior pontuação são mantidas), juntamente com o Erro de Aproximação.
   • Experimentos foram conduzidos em quatro conjuntos de dados diversos (#covid19, IMDB, slurs, snippets) usando o modelo pré-treinado BERTAgent (baseado em RoBERTa) como o classificador alvo para "agência".
   • Parâmetros de IG foram otimizados: o número de etapas de integração ($N$) e a entrada de linha de base ($x_0$). O estudo testou linhas de base incluindo zero, máscara, padding e embeddings de média.

2. Validação e Renderização:

   • A saída bruta do IG foi processada para tratar problemas de tokenização (ex: divisão de subpalavras) e coerência semântica (ex: tratamento de negações e agrupamento de dependências sintáticas) usando SpaCy.
   • A confiabilidade da abordagem de IG otimizada foi validada por três psicólogos especialistas que avaliaram a saída para "acertos" (hits — identificação correta de palavras agênticas) e "alarmes falsos" (false alarms — alucinações) em um conjunto de dados de "padrão ouro".

3. Aplicação a Pequenos Conjuntos de Dados (Estratégia de Overfitting):

   • Para lidar com cenários de dados rotulados limitados, os autores propuseram um procedimento de treinamento inovador onde o modelo é deliberadamente incentivado ao overfitting até que atinja 100% de acurácia de treinamento.
   • A lógica é que, em um cenário de pequeno conjunto de dados, o overfitting força o modelo a capturar as assinaturas estatísticas específicas e distintas de cada classe. O IG é então aplicado a este modelo com overfitting para identificar as palavras salientes que diferenciam as classes, gerando efetivamente um dicionário semântico para o marcador alvo.

Principais Contribuições

• Identificação do IG como o Método Ótimo: Através de uma comparação rigorosa, o artigo identifica os Gradientes Integrados como a abordagem mais eficaz, oferecendo um equilíbrio superior de desempenho (fidelidade) e complexidade computacional em comparação ao IG Sequencial, DeepLIFT e GradientSHAP.
• Otimização de Parâmetros: O estudo estabelece que uma linha de base zero e 300 etapas de integração ($N=300$) fornecem as atribuições mais confiáveis para modelos baseados em RoBERTa, minimizando o erro de aproximação enquanto mantém alta abrangência e suficiência.
• Validação da Detecção de Agência ao Nível da Palavra: O artigo demonstra que o IG pode identificar confiavelmente as palavras que contribuem para as pontuações de "agência", com a validação mostrando alta concordância entre os destaques do algoritmo e os julgamentos humanos especialistas, particularmente para textos com altos níveis de agência e comprimentos menores.
• Construção de Dicionários a partir de Rótulos: O artigo introduz um método para utilizar o overfitting em conjunto com o IG para extrair palavras-chave específicas de classes a partir de pequenos conjuntos de dados rotulados. Isso permite a construção ou expansão de dicionários para constructos complexos (ex: objetificação, vergonha, medo) onde modelos pré-treinados ou dicionários amplos ainda não existem.

Resultos

• Comparação de Métodos: O IG com linha de base zero e $N=300$ superou consistentemente ou igualou outros métodos em abrangência e suficiência em todos os conjuntos de dados. O IG Sequencial ofereceu melhorias marginais apenas para textos muito curtos, mas incorreu em um custo computacional 10 vezes maior. DeepLIFT e GradientSHAP apresentaram o pior desempenho.
• Validação: A validação por especialistas confirmou que o IG identifica corretamente o conteúdo agêntico na maioria dos casos. A confiabilidade do algoritmo correlaciona-se positamente com a magnitude da pontuação de agência e negativamente com o comprimento do texto. Alarmes falsos (alucinações) ocorreram em aproximadamente 20% das amostras, taxa que os autores atribuem à complexidade inerente da tarefa e ao natural desacordo entre codificadores especialistas.
• Aplicação 1 (Destaques de Texto): Ao ser aplicado a um conjunto de textos escritos para mobilizar ação coletiva, o IG revelou que as seções destacadas pelos especialistas continham uma concentração significativamente maior de palavras agênticas (capturando >40% do conteúdo agêntico máximo possível) em comparação com seleções aleatórias. Isso vincula empiricamente o conceito de agência à linguagem de mobilização eficaz.
• Aplicação 2 (Dicionários a partir de Rótulos): Aplicado ao conjunto de dados "slurs", a abordagem de overfitting+IG identificou com sucesso palavras-chave semanticamente coerentes para vários rótulos. Por exemplo, distinguiu marcadores de gênero (ex: "homem", "menino" vs. "mulher", "irmã"), tipos de relacionamento (ex: "chefe" vs. "marido") e estados emocionais (ex: "mortificar", "insegurança" para alta vergonha; "sexo oral", "saia" para alta objetificação). Os resultados alinharam-se com as teorias sociopsicológicas sobre objetificação e respostas emocionais à agressão.

Significância
O artigo afirma que sua abordagem fornece uma ferramenta robusta de IA explicável (XAI) para a pesquisa sociopsicológica. Ao mover-se do nível da sentença para o nível da palavra, oferece aos pesquisadores um mecanismo "legível" para entender como características linguísticas específicas impulsionam os resultados de classificação. A significância reside em duas áreas:

1. Insight Teórico: Valida a ligação entre a linguagem agêntica e as intenções de ação coletiva, fornecendo evidência empírica para teorias sociopsicológicas sobre mobilização.
2. Utilidade Prática para Domínios com Escassez de Dados: O método proposto para pequenos conjuntos de dados oferece um caminho para construir ou refinar dicionários para constructos complexos e teoricamente imaturos (como objetificação ou polarização) sem a necessidade de corpora rotulados massivos. Isso permite a identificação de conteúdo semântico saliente que caracteriza classes específicas, facilitando a criação de ferramentas de PLN mais direcionadas e teoricamente fundamentadas.