Resumo Técnico: Uso de Inferência Causal Baseada em Texto para Desvendar Fatores que Influenciam Avaliações Online

Declaração do Problema

As avaliações online oferecem insights ricos sobre a qualidade percebida de produtos e serviços, mas a análise de sentimento baseada em aspectos tradicional muitas vezes falha em quantificar o impacto causal de aspectos específicos nas classificações gerais. Um desafio primário é a presença de variáveis de confusão dentro do texto. Por exemplo, uma escola elogiada pelo desempenho acadêmico também pode ser elogiada pelas atividades extracurriculares ou pelo envolvimento dos pais; uma análise de correlação padrão poderia incorretamente atribuir a alta classificação geral apenas aos aspectos acadêmicos, ignorando as vantagens socioeconômicas ou outros fatores que impulsionam o sentimento.

O objetivo deste trabalho é estimar o Efeito Médio do Tratamento (ATE - Average Treatment Effect) de aspectos textuais específicos (ex: menções a "bullying" ou "administração") nas classificações gerais das entidades, enquanto controla rigorosamente os fatores de confusão presentes no restante do texto. Os autores tratam as menções textuais como proxies para atributos do mundo real, visando isolar a influência causal de um fator específico do ruído de fatores correlacionados.

Metodologia

Estrutura e Premissas

Os autores adotam o framework de resultados potenciais (Neyman, 1923). Para cada entidade (escola) $i$, eles observam uma tupla $(X_i, Y_i, T_i)$:

• $T_i \in \{0, 1\}$: Atribuição de tratamento (presença de um tópico/palavra-chave específico nas avaliações).
• $Y_i$: Resultado contínuo (classificação média da avaliação).
• $X_i$: Covariáveis textuais (o restante do texto das avaliações, excluindo as palavras-chave que induzem o tratamento).

O objetivo é estimar $\tau = E[Y_i(1) - Y_i(0)]$. Para abordar a violação da ignorabilidade (onde a atribuição de tratamento correlaciona-se com os confundidores), os autores assumem a Ignorabilidade Condicional: a atribuição de tratamento é independente dos resultados potenciais dados as covariáveis $X_i$.

A Arquitetura CausalBERT

O núcleo da metodologia é um CausalBERT (Veitch et al., 2020) aprimorado, que estende o BERT (especificamente o DistilBERT) para aprender representações de texto que predizem tanto o escore de propensão quanto os resultados condicionais esperados.

1. Processamento de Entrada: As avaliações são divididas em texto determinante do tratamento (palavras-chave) e texto de covariável (todas as outras avaliações concatenadas).
2. Aprendizado Multiobjetivo: O modelo aprende uma representação densa $h_i$ a partir do texto da covariável para otimizar simultaneamente:
   • Predição do Escore de Propensão ($g$): Prediz a probabilidade de tratamento $T_i$.
   • Predição do Resultado ($Q$): Prediz os resultados potenciais $Y_i(1)$ e $Y_i(0)$ sob cenários de tratamento e controle.
3. Função de Perda: Uma soma ponderada do Erro Quadrático Médio (MSE) para predição de resultado e Entropia Cruzada (CE) para atribuição de tratamento, equilibradas por um hiperparâmetro $\alpha$.

Principais Melhorias

O artigo introduz três melhorias específicas à estrutura padrão do CausalBERT:

1. Escalonamento de Temperatura (Temperature Scaling): Para lidar com a instabilidade do Pesagem de Probabilidade Inversa (IPW) causada por escores de propensão extremos (valores próximos de 0 ou 1), os autores aplicam o escalonamento de temperatura aos logits do escore de propensão. Um parâmetro de temperatura $M > 1$ "suaviza" a distribuição de probabilidade, alinhando as probabilidades preditas com seus níveis reais de confiança e mitigando o risco de pesos extremos nos estimadores IPW e AIPW.
2. Otimização de Hiperparâmetros para Sobreajuste (Overadjustment): O parâmetro $\alpha$ controla o equilíbrio entre a predição do tratamento e a predição do resultado. Os autores propõem uma estratégia empírica para selecionar $\alpha$ com base na acurácia da predição do tratamento. Eles postulam que uma menor acurácia de tratamento indica um confundimento mais fraco; nesses casos, um $\alpha$ mais alto (focando mais na classificação do tratamento) gera melhores estimativas de ATE ao evitar o sobreajuste para confundidores inexistentes.
3. Métodos de Interpretabilidade: Para validar a natureza de "caixa preta" dos embeddings, os autores utilizam:
   • Análise Comparativa de CLS: Comparação dos pesos de atenção no token CLS entre o CausalBERT ajustado e um baseline DistilBERT para identificar tokens que se tornam significativos apenas após o controle dos confundidores.
   • Gradientes Integrados (IG): Atribuição de mudanças na predição a tokens de entrada específicos para caracterizar quais palavras impulsionam os escores de propensão e as predições de resultado.

Estimadores

O estudo avalia o ATE usando vários estimadores derivados das saídas do CausalBERT:

• Estimador Ingênuo ($\hat{\tau}_{unadjust}$): Diferença simples de médias.
• Q-only ($\hat{\tau}_Q$): Ajuste de regressão de resultado.
• IPW ($\hat{\tau}_{IPW}$): Pesagem de Probabilidade Inversa.
• AIPW ($\hat{\tau}_{AIPW}$): IPW Aumentado, combinando escores de propensão e modelos de resultado para robustez dupla.

Configuração Experimental

• Dataset: 677.210 avaliações do GreatSchools.org cobrindo 83.795 escolas de K-12 nos EUA (2002–2019).
• Tópicos: "Bullying", "Administração", "Desempenho Acadêmico", "Atividades Extracurriculares" e "Currículo".
• Definição de Tratamento:
  • Tópicos Neutros/Positivos (ex: Administração): O tratamento é definido pelo sentimento (todos positivos vs. todos negativos).
  • Tópicos Negativos (ex: Bullying): O tratamento é definido pela presença do tópico.
• Validação Semissintética: Para avaliar o desempenho sob condições controladas, os autores injetaram texto de "desafio acadêmico" (confundidores) em um subconjunto de avaliações. Eles variaram a força do confundidor ($p$) de 0,5 (atribuição aleatória) a 0,9 (correlação forte) e o verdadeiro ATE ($u$) para testar a robustez do estimador.

Principais Resultados

Achados de Dados Semissintéticos

1. Força do Confundidor: À medida que a força do confundidor aumenta, o desempenho dos estimadores ingênuos degrada-se significamente, enquanto os estimadores baseados em CausalBERT (IPW, AIPW) mantêm a robustez.
2. Escalonamento de Temperatura: O escalonamento reduz significativamente a razão de erro dos estimadores IPW, particularmente em forças de confundidor altas ($p=0,9$), ao prevenir escores de propensão extremos. O benefício é menos pronunciado para o AIPW devido à sua robustez dupla inerente.
3. Hiperparâmetro $\alpha$: Existe uma relação linear entre a acurácia da predição de tratamento e a força do confundidor.
   • Baixa Acurácia (Confundimento Fraco): Um $\alpha$ mais alto (ex: 0,8) produz melhores estimativas de ATE.
   • Alta Acurácia (Confundimento Forte): Um $\alpha$ moderado (ex: 0,5) apresenta melhor desempenho.
   • Isso permite uma seleção empírica de $\alpha$ baseada no desempenho inicial do modelo.
4. Interpretabilidade: A análise de CLS confirmou que o CausalBERT consegue deslocar a atenção para os tokens do confundidor injetado quando o confundimento é forte, enquanto foca em tokens específicos do tratamento quando o confundimento é fraco.

Achados de Dados do Mundo Real

Aplicando a estrutura otimizada (usando $\alpha=0,8$ e escalonamento de temperatura) às avaliações escolares:

• Ajuste de Confundimento: As estimativas ajustadas mostraram consistentemente magnitudes de efeito menores do que as estimativas não ajustadas. Por exemplo, o impacto negativo do "bullying" foi estimado em -0,16 (ajustado) versus -0,26 (não ajustado), sugerendo que uma má administração frequentemente coocorre com o bullying, inflando a correlação não ajustada.
• Drivers Significativos: Após controlar os confundidores, a Administração e o Desempenho Acadêmico foram identificados como os drivers positivos mais significativos das classificações gerais das escolas.
• Bullying: Permaneceu como um driver negativo significativo, mas seu impacto estimado foi moderado pela presença de outros fatores.

Significância e Alegações

O artigo afirma avançar o campo da inferência causal baseada em texto ao:

1. Validar o CausalBERT: Demonstrando sua eficácia em desvendar efeitos causais de características textuais correlacionadas em um domínio do mundo real de alto risco (educação).
2. Refinamento Metodológico: Fornecendo estratégias empiricamente validadas (Escalonamento de Temperatura e seleção de $\alpha$) para melhorar a estabilidade e a precisão das estimativas causais derivadas de modelos de deep learning.
3. Interpretabilidade: Oferecendo métodos qualitativos para verificar se o modelo está de fato aprendendo a controlar os confundidores em vez de simplesmente memorizar correlações.
4. Insight de Domínio: Revelando que, embora aspectos como o bullying sejam percebidos negativamente, a percepção da qualidade escolar é impulsionada significativamente pela administração e pelo desempenho acadêmico, e que falhar ao controlar o confundimento leva à superestimação do impacto de fatores negativos.

Os autores mantêm um tom modesto, reconhecendo que os verdadeiros efeitos causais em dados observacionais são desconhecidos e que a dependência da identificação de tratamento baseada em palavras-chave introduz potencial ruído. Eles enfatizam que seus resultados devem ser interpretados como estimativas de influência percebida, e não como verdades causais definitivas, e alertam contra a dependência excessiva dessas métricas para decisões administrativas sem considerar os contextos únicos de cada escola.