POLAR:A Per-User Association Test in Embedding Space

Título: POLAR: Um Teste de Associação por Usuário no Espaço de Embedding

1. O Problema

As técnicas atuais de medição de viés e associações semânticas em linguagem (como WEAT e SEAT) operam predominantemente em nível de palavra, frase ou corpus. Essas abordagens agregadas obscurecem a variação no nível do autor individual.

• Falácia Ecológica: Ao agregar dados de muitos usuários em uma única representação (ex: média de embeddings de um corpus), perde-se a heterogeneidade interna. Um corpus pode mostrar uma associação média forte entre "imigrantes" e "crime", mas isso pode mascarar o fato de que alguns usuários usam linguagem humanizadora enquanto outros usam termos pejorativos.
• Limitação Atual: Não existe uma metodologia estabelecida que aplique testes de associação calibrados diretamente a vetores de usuários individuais, permitindo diagnósticos granulares por autor.

2. Metodologia (POLAR)

O POLAR (Per-user On-axis Lexical Association Report) é um teste de associação léxica projetado para operar no espaço de embedding de um Modelo de Linguagem com Máscara (MLM) levemente adaptado. O pipeline divide-se em duas fases principais:

Fase 1: Tokenização e Adaptação do Usuário

• Tokenização Determinística: Cada autor $u$ é mapeado para um token privado e determinístico ($t_u$) através de um hash (ex: usr + SHA1 do ID).
• Adaptação do Modelo: O token do usuário é adicionado ao vocabulário do tokenizer de um modelo pré-treinado (ex: BERT-base-uncased).
• Ajuste Fino (Fine-tuning): O modelo é adaptado com uma estratégia de "máscara consciente do usuário". O token do usuário é mascarado com maior frequência durante o treinamento, e uma função de perda de alinhamento empurra o vetor do token do usuário em direção à média dos tokens de texto da postagem. Isso faz com que o vetor do token aprenda a resumir o contexto linguístico e o estilo do autor.

Fase 2: Inferência e Teste de Associação

• Vetor do Usuário: Após o treinamento, o autor é representado pelo vetor normalizado do seu token ($\hat{e}_u$).
• Eixos Semânticos: São definidos pares de conjuntos de atributos léxicos $(A, B)$ (ex: "segurança de armas" vs. "direitos de armas").
• Estatística de Efeito: O método calcula a similaridade de cosseno entre o vetor do usuário e os vetores dos atributos. O tamanho do efeito padronizado $s(u; A, B)$ é calculado como a projeção do vetor do usuário no eixo semântico $(\bar{a} - \bar{b})$, normalizada pela dispersão empírica.
• Significância Estatística:
  • Teste de Permutação: Utiliza permutações de Monte Carlo (ex: 2000 iterações) para calcular valores-p, assumindo que os rótulos dos atributos são intercambiáveis sob a hipótese nula.
  • Controle de Falsas Descobertas: Aplica-se o procedimento de Benjamini-Hochberg para controlar a proporção de falsas descobertas (FDR) ao testar múltiplos eixos em muitos usuários.

3. Contribuições Principais

1. Unidade de Análise por Autor: É a primeira metodologia que trata vetores de usuários individuais como objetos de primeira classe para testes de associação calibrados, evitando a agregação que leva à perda de informação.
2. Interpretabilidade Direta: Como os vetores de usuários e os itens léxicos coabitam o mesmo espaço geométrico, o sinal e a magnitude do escore indicam diretamente em qual lado de um eixo semântico o usuário se posiciona e com que intensidade, sem necessidade de classificadores auxiliares.
3. Modularidade: O método é modular; novos conjuntos de atributos podem ser testados sem retreinar o modelo, apenas recalculando as projeções.
4. Código Aberto: Todo o código e os dados processados estão disponíveis publicamente.

4. Resultados Experimentais

Os autores avaliaram o POLAR em dois corpora distintos:

A. Benchmark Twitter Bot-Humano (fox8-23)

• Objetivo: Detectar divergências estilísticas entre bots impulsionados por LLMs e contas humanas orgânicas.
• Desempenho: O POLAR separou limpa e eficazmente bots de humanos em múltiplos eixos (ex: "Scam/Finance" vs. "Daily Life", "Newswire" vs. "Personal Experience") sem usar rótulos durante o treinamento.
• Métricas: Alcançou um AUROC de 0.961 usando apenas um eixo (Scam/Finance), superando ou igualando métodos baseados em embeddings agregados (como média de [CLS] ou WEAT agregado).
• Conclusão: Vetores compactos de usuários capturam preferências léxicas estáveis que diferenciam automaticamente estilos de geração (bot) de linguagem humana.

B. Fórum Extremista (Stormfront)

• Objetivo: Quantificar alinhamento com léxicos de ódio e detectar radicalização progressiva.
• Alinhamento com Ódio: O método identificou um alinhamento positivo forte e significativo com léxicos de insultos raciais, de gênero e jargão "incel" (quase 100% dos usuários significativos nesses eixos).
• Radicalização Temporal: Ao analisar trajetórias cumulativas de usuários ao longo do tempo, o POLAR detectou um "desvio para a direita" (rightward drift). À medida que os usuários postavam mais, seus vetores se alinhavam progressivamente mais com os léxicos de ódio, servindo como um indicador interpretável e sem rótulos de radicalização.

5. Significância e Impacto

• Ciência Social Computacional: O POLAR preenche uma lacuna metodológica crítica, permitindo que pesquisadores analisem a distribuição de associações dentro de grupos, em vez de apenas médias de corpus. Isso permite identificar subgrupos extremistas ou minoritários que seriam diluídos em análises agregadas.
• Diagnóstico Sem Rótulos: Oferece uma ferramenta de diagnóstico estatisticamente fundamentada (com valores-p e controle de erro) para identificar viés, toxicidade ou comportamento de bot sem a necessidade de dados rotulados supervisionados.
• Aplicabilidade Prática: Pode ser usado para monitorar a evolução de discursos em comunidades online, detectar contas automatizadas e estudar a dinâmica de polarização política em tempo real.

Em resumo, o POLAR transforma a análise de viés linguístico de uma métrica estática e agregada para uma ferramenta dinâmica, individualizada e estatisticamente robusta, capaz de revelar a heterogeneidade oculta nas interações online.