Diagnosing Causal Credibility of Machine Learning Explanations: A Dual- SHAP Attribution Framework Applied to Social Survey Data

No estudo moderno do comportamento humano, os pesquisadores dependem cada vez mais de poderosos programas de computador para encontrar padrões em vastas quantidades de dados de questionários. Esses modelos de aprendizado de máquina são excelentes em detectar conexões complexas que a estatística tradicional pode perder, como o modo como a renda de uma pessoa, sua idade e onde ela vive podem se combinar para influenciar seus hábitos sociais. No entanto, esses modelos são frequentemente opacos; eles podem prever um resultado com alta precisão, mas não oferecem uma explicação clara do porquê. Para corrigir isso, os cientistas usam uma ferramenta chamada SHAP, que atua como um holofote, destacando quais fatores o modelo considerou mais importantes ao fazer uma previsão. O problema é que esse holofote frequentemente confunde duas coisas muito diferentes: uma relação genuína de causa e efeito e uma mera coincidência. Só porque duas coisas acontecem juntas, não significa que uma causou a outra. Por exemplo, um modelo pode sinalizar a "idade do cônjuge" como uma razão fundamental para o uso de internet de uma pessoa, não porque a idade do cônjuge altera diretamente o quanto a pessoa navega online, mas simplesmente porque os cônjuges tendem a ter idades semelhantes, e a própria idade é um forte motor do uso de tecnologia. Distinguir entre essas causas reais e correlações enganosas é essencial para os cientistas sociais que desejam entender o comportamento humano, em vez de apenas prevê-lo.

Um novo estudo de Shidong Li, da North University of China, aborda essa confusão de frente ao aplicar uma estrutura de diagnóstico rigorosa a dados de pesquisas sociais do mundo real. O pesquisador analisou as respostas do Chinese General Social Survey de 2023, um conjunto de dados massivo que representa quase 4.800 pessoas em trinta e um províncias. O objetivo era testar dezoito aspectos diferentes da vida social, variando desde a frequência com que as pessoas visitam amigos até sua confiança em estranhos e seus hábitos de consumo de mídia. Em vez de aceitar as explicações padrão fornecidas por um único modelo de computador, o estudo empregou uma abordagem "dual-SHAP". Este método compara duas maneiras diferentes de calcular a importância. O primeiro método observa os dados como eles existem naturalmente, preservando todos os vínculos existentes entre as variáveis. O segundo método quebra esses vínculos artificialmente, perguntando o que aconteceria com uma previsão se um fator específico mudasse enquanto todo o resto permanecesse independente. Ao comparar os resultados desses dois métodos, o estudo pôde medir uma "pontuação de credibilidade" para cada fator. Uma pontuação alta significa que a importância do fator se mantém mesmo quando as correlações são quebradas, sugerindo um vínculo causal direto. Uma pontuação baixa indica que o fator provavelmente estava apenas pegando carona nos coattails de outra variável mais influente.

A investigação começou escaneando os dezoito comportamentos sociais para ver quais poderiam ser previstos de forma confiável pelos dados disponíveis. Dos vinte e dois comportamentos originalmente considerados, dezoito foram considerados previsíveis o suficiente para serem analisados mais a fundo, enquanto quatro, como a frequência de atividades de voluntariado, eram erráticos demais para serem modelados de forma eficaz. Entre os dezoito que restaram, o estudo testou cinco tipos diferentes de algoritmos de aprendizado de máquina para ver qual performava melhor para cada comportamento específico. Os resultados desafiaram uma suposição comum no campo: a de que um algoritmo específico, conhecido como XGBoost, é o campeão universal para todas as tarefas. Em vez disso, o estudo descobriu que nenhum modelo único dominava todo o cenário. Um modelo chamado RandomForest foi o melhor executor para dez dos dezoito resultados, cobrindo áreas como interação social e uso de mídia. No entanto, outros modelos, incluindo Ridge regression, LightGBM e GradientBoosting, mostraram-se superiores para resultados específicos, como confiança social geral ou leitura de jornais. Essa descoberta sugere que a escolha do modelo de computador não é um detalhe técnico menor, mas uma decisão substantiva que molda fundamentalmente as conclusões que os pesquisadores tiram sobre o que impulsiona o comportamento humano.

Uma vez selecionado o melhor modelo para cada comportamento, o estudo estreitou a lista de potenciais causas de trinta e oito preditores para vinte e nove fatores fundamentais. Esse processo de seleção usou a própria ferramenta SHAP para filtrar variáveis que contribuíam muito pouco para o quadro geral, como o número de filhas que uma pessoa tem ou atitudes específicas em relação aos papéis de gênero. Os vinte e nove fatores restantes incluíam demografia, como idade e renda, bem como atitudes em relação à justiça social e habilidades linguísticas. A idade emergiu como o preditor mais dominante em todos os casos, seguida de perto pela renda pessoal e habilidades linguísticas. Com esses fatores-chave identificados, os pesquisadores aplicaram a estrutura dual-SHAP para calcular a credibilidade da influência de cada fator. Eles descobriram que a pontuação média de credibilidade em todos os relacionamentos foi de 0,727, indicando que, embora muitos fatores tenham uma influência direta, uma parte significativa da importância atribuída pelos modelos padrão é inflada por correlações.

O estudo revelou um amplo espectro de confiabilidade. Alguns fatores, como a percepção de uma pessoa sobre a justiça social ou suas visões políticas sobre migração, mostraram pontuações de credibilidade altas, o que significa que sua influência sobre os resultados sociais era robusta e provavelmente causal. Em contraste, fatores como a idade do cônjuge ou a duração de um casamento frequentemente mostraram credibilidade baixa ou até negativa quando sua conexão com a idade do próprio respondente era quebrada. Por exemplo, quando o estudo simulou um cenário onde a idade do cônjuge era alterada independentemente da idade do respondente, a aparente influência da idade do cônjuge no uso da internet desapareceu ou até reverteu de direção. Isso serviu como um aviso claro de que o modelo original havia confundido uma correlação com uma causa. Os pesquisadores estabeleceram um limiar para ajudar a interpretar essas pontuações: sugeriram que uma pontuação de 0,80 ou superior deveria ser considerada um indicador forte de uma relação primordialmente causal. Usando esse padrão, apenas cerca de quarenta por cento dos pares fator-comportamento se qualificaram como primordialmente causais. Se o limiar fosse reduzido para um mais leniente de 0,50, quase noventa e três por cento dos pares atenderiam aos critérios, mas os pesquisadores argumentaram que o padrão mais rigoroso é necessário para evitar ser enganado por padrões coincidentes.

Para garantir que essas descobertas não fossem apenas artefatos estatísticos, o estudo realizou uma verificação final simulando mudanças no mundo real. Eles perguntaram o que aconteceria com o comportamento previsto de uma pessoa se um fator específico, como renda ou idade, aumentasse em uma quantidade padrão. Os resultados foram consistentes com o senso comum e a ciência social estabelecida. Por exemplo, aumentar a idade de uma pessoa na simulação levou a uma diminuição prevista no uso da internet, refletindo a bem conhecida divisão digital onde adultos mais velhos utilizam a tecnologia com menos frequência. Da mesma forma, aumentar a renda pessoal levou a um aumento previsto na leitura de jornais, alinhando-se à ideia de que o status socioeconômico mais elevado está ligado ao consumo de mídia impressa. Essas simulações confirmaram que os modelos estavam capturando relações genuínas e interpretáveis, em vez de ruído aleatório. Além disso, quando os pesquisadores testaram a estrutura em diferentes subgrupos, como adultos mais jovens versus mais velhos ou residentes urbanos versus rurais, os padrões gerais mantiveram-se constantes, embora as pontuações de credibilidade específicas tenham variado ligeiramente dependendo da população. Isso demonstrou que, embora o método seja robusto, a força de um vínculo causal pode depender do grupo específico sendo estudado.

Em última análise, este trabalho fornece uma ferramenta transparente e reproduzível para cientistas sociais separarem o sinal do ruído nas explicações de aprendizado de máquina. Ele não afirma provar a causalidade no sentido absoluto, já que fatores não mensurados ainda poderiam estar em jogo, mas oferece uma maneira prática de diagnosticar quando uma explicação é provavelmente enganosa. Ao comparar como um modelo se comporta quando vê os dados como eles são versus como ele se comporta quando quebra os elos naturais entre as variáveis, os pesquisadores podem agora identificar quais fatores estão realmente impulsionando os resultados sociais e quais são meramente sombras projetadas por outras variáveis. O estudo conclui que, embora o aprendizado de máquina seja uma lente poderosa para visualizar o comportamento humano, ele requer esse tipo de calibração cuidadosa para garantir que os insights que fornece não sejam apenas previsões precisas, mas explicações confiáveis de por que as pessoas agem da maneira que agem.