Counterfactual Probing for the Influence of Affect and Specificity on Intergroup Bias

1. Problema e Contexto

A maioria das pesquisas atuais sobre viés (bias) em Processamento de Linguagem Natural (NLP) foca exclusivamente no uso de linguagem negativa ou pejorativa. No entanto, a psicologia social sugere que o viés pode ser entendido como uma mudança no comportamento linguístico refletindo dinâmicas sociais em mudança, onde todo o uso da linguagem é potencialmente enviesado dependendo da relação social entre o falante e o alvo.

O artigo baseia-se na proposta de Govindarajan et al. (2023), que reencena o viés através de Relações Intergrupais (IGR) (in-group vs. out-group) em tweets. O problema central investigado é: quais características linguísticas variam sistematicamente em diferentes contextos intergrupais?

Os autores testam duas características pragmáticas específicas:

• Affect (Afeto): A atitude do falante em relação ao alvo (positiva/negativa), análoga à "desejabilidade social".
• Specificity (Especificidade): O nível de detalhe do texto (concreto vs. abstrato), uma generalização do conceito de "abstração" da Hipótese do Viés Intergrupal Linguístico (LIB).

A hipótese, inspirada na LIB, prevê que comportamentos desejáveis do in-group e indesejáveis do out-group sejam codificados com menor especificidade (mais abstratos).

2. Metodologia

Dados e Anotações

• Corpus: Tweets de membros do Congresso dos EUA que mencionam outros membros, utilizando rótulos supervisionados de IGR (in-group se do mesmo partido, out-group se de partido diferente).
• Affect: Anotações manuais (via Amazon Mechanical Turk) foram adicionadas para classificar o sentimento do autor em relação ao alvo (quente/frio) e à ação do alvo (aprovação/desaprovação), gerando um rótulo binário (+/-).
• Specificity: Calculada automaticamente usando uma ferramenta pré-treinada (Gao et al., 2019) que atribui um escore de 1 a 5.

Modelo Base

• Utilização do BERTweet (pré-treinado em 850M tweets em inglês).
• O modelo foi fine-tuned para a tarefa de prever rótulos de IGR.
• A análise foca nas representações da camada 11 do modelo.

Técnica de Probing (Sondagem) Causal: AlterRep

Para ir além de correlações e investigar a causalidade, os autores utilizaram a técnica AlterRep (baseada em INLP - Iterative Nullspace Projection).

1. Treinamento de Classificador Linear: Um classificador linear é treinado nas representações internas do modelo para prever a característica de interesse (Affect ou Specificity).
2. Projeção no Espaço Nulo: O INLP remove iterativamente a informação da característica de interesse das representações do modelo.
3. Intervenção Contrfactual: As representações são projetadas para um componente ortogonal que contém apenas a informação da característica de interesse. Isso permite "empurrar" as representações do modelo para ter mais ou menos afeto/especificidade, mantendo o resto do texto inalterado.
4. Teste: Observa-se como a mudança forçada nessas características afeta a probabilidade do modelo classificar o tweet como "in-group".

3. Contribuições Principais

• Mudança de Paradigma: Propõe analisar o viés não apenas como linguagem ofensiva, mas como variações sistemáticas de características pragmáticas (afeto e especificidade) em contextos intergrupais.
• Análise Causal em NLP: É um dos primeiros trabalhos a aplicar técnicas de counterfactual probing (AlterRep) para investigar se modelos neurais utilizam características pragmáticas de alto nível (como especificidade e afeto) em suas decisões de classificação de viés.
• Generalização da LIB: Move-se da definição restrita de abstração baseada apenas em predicados para uma análise de especificidade baseada em toda a sentença.

4. Resultados e Análise

Correlações Iniciais

• Afeto: Houve uma correlação positiva modesta (r=0.2) entre afeto positivo e rótulos de in-group.
• Especificidade: Não houve correlação significativa entre especificidade e IGR no conjunto de dados bruto.

Resultados da Intervenção (Probing)

• Efeito do Afeto: A intervenção causal foi forte e clara. Ao empurrar as representações para um afeto mais positivo, o modelo passou a classificar quase todos os tweets como "in-group", independentemente da especificidade. O inverso ocorreu para afeto negativo. Isso confirma que o modelo utiliza o afeto causalmente para tomar decisões.
• Efeito da Especificidade: Os resultados foram inconclusivos e assimétricos:
  • Intervir para alta especificidade não teve efeito significativo (indistinguível do controle).
  • Intervir para baixa especificidade fez com que o modelo classificasse todos os dados como "in-group".
  • Falta de Interação: Diferente da hipótese da LIB, não houve interação observada entre afeto e especificidade (o modelo não mudou seu comportamento baseado na combinação dos dois).

Análise de Erros Qualitativa

Os autores notaram que o fine-tuning para a tarefa de IGR degradou a capacidade do Modelo de Linguagem (LM) subjacente.

• O modelo fine-tuned gerava tokens sem sentido (ex: "opport__", "mug__") mesmo antes das intervenções.
• As intervenções de especificidade resultaram em tokens semanticamente implausíveis, o que pode explicar a falta de resultados conclusivos e a ausência de interação entre as variáveis. A degradação do LM pode ter impedido que o modelo mantivesse a coerência necessária para testar a hipótese da LIB.

5. Significado e Conclusão

O estudo demonstra que, embora os modelos de linguagem aprendam a usar o afeto de forma causal para prever relações intergrupais, a relação com a especificidade é complexa e não segue a previsão da Hipótese do Viés Intergrupal Linguístico (LIB) neste contexto específico.

• Implicação Teórica: Sugere que a LIB pode não se aplicar diretamente a dados de linguagem natural em larga escala (tweets) da mesma forma que em experimentos psicológicos controlados, ou que a métrica de especificidade utilizada não captura a nuance necessária.
• Implicação Técnica: Destaca os desafios de usar técnicas de intervenção (como AlterRep) em modelos que sofreram fine-tuning agressivo, pois a degradação do modelo de linguagem base pode distorcer os resultados de sondagem.
• Futuro: A pesquisa aponta para a necessidade de investigar a generalizabilidade em outros domínios e idiomas, e o uso de métodos de manipulação não-lineares para características mais complexas.

Em resumo, o trabalho conecta novas formulações de viés social a características linguísticas mensuráveis, mas revela que a relação causal entre especificidade e viés intergrupal em modelos neurais é menos direta do que o esperado, possivelmente devido a limitações técnicas na manipulação de representações de modelos pré-treinados.