Traits of a Leader: User Influence Level Prediction through Sociolinguistic Modeling

Resumo Técnico: Traços de um Líder: Previsão do Nível de Influência do Usuário por Meio de Modelagem Sociolinguística

Definição do Problema
O artigo aborda o desafio de prever o nível de influência de um usuário dentro de redes sociais online com base exclusivamente em um único comentário de texto (mínimo de 32 tokens). Os autores definem "influência" não como um atributo estático, mas como uma função do endosso da comunidade, operacionalizada por meio de uma pontuação k-index. Esta pontuação, adaptada do h-index, representa o número máximo de comentários ($k$) que um usuário fez, cada um recebendo pelo menos $k$ pontos de karma. A tarefa de previsão é enquadrada como um problema de regressão com uma distribuição de rótulos altamente assimétrica à direita, onde a maioria dos usuários possui baixas pontuações de influência e muito poucos possuem pontuações altas. Essa assimetria torna a identificação de usuários de alto status difícil, necessitando de métricas de avaliação que priorizem a classificação de instâncias de alto valor em vez da simples minimização de erros.

Metodologia
A abordagem proposta aproveita a modelagem sociolinguística para aprimorar a representação latente dos comentários dos usuários. A metodologia prossegue através de quatro etapas principais:

1. Construção da Linha de Base: Um modelo BERT "pequeno" (4 camadas, 512 dimensões, 8 cabeças de atenção) é treinado para prever o k-index diretamente a partir de embeddings de texto ($E[CLS]$). Os autores empregam uma estratégia de ajuste fino em duas etapas para mitigar o esquecimento catastrófico: primeiro congelando as camadas do BERT enquanto treinam camadas feed-forward específicas da tarefa, e depois desbloqueando todo o modelo com uma taxa de aprendizado reduzida.
2. Geração de Pseudo-rótulos: Como o conjunto de dados carece de anotações de verdade para demografia e personalidade dos usuários, os autores treinam modelos separados para gerar pseudo-rótulos para sete subtarefas auxiliares:
   • Demografia: Idade (regressão) e Gênero (classificação).
   • Personalidade: As quatro dimensões do Indicador de Tipo Myers-Briggs (MBTI): Introversão/Extroversão, Sensação/Intuição, Pensamento/Sentimento e Julgamento/Percepção.
   • Características Linguísticas: Detecção de "atenuadores" (dispositivos linguísticos usados para mitigar ordens ou opiniões).
   • Essas subtarefas utilizam arquiteturas incluindo CNNs, LSTMs e BERT, treinadas em corpora externos (por exemplo, PAN-DORA, CoNLL 2010).
3. Aprendizado Multitarefa (MTL): Uma arquitetura multitarefa é construída anexando sete cabeças adicionais específicas da tarefa ao modelo BERT base. Cada cabeça corresponde a uma das subtarefas (idade, gênero, dimensões MBTI, atenuadores) ao lado da cabeça principal de previsão do k-index. O modelo é treinado para minimizar uma soma ponderada de perdas: $L_{total} = L_0 + \sum w_i L_i$.
4. Ajuste de Pesos de Perda: Para abordar a questão de subtarefas contribuírem com sinais desiguais ou introduzirem ruído, os autores empregam o algoritmo de busca Hyperband para ajustar automaticamente os pesos de perda ($w_i$) para cada subtarefa, otimizando o equilíbrio entre a tarefa principal e os objetivos auxiliares.

Principais Resultados
O estudo avalia o desempenho em oito domínios distintos do Reddit (por exemplo, AskScience, Politics, Fitness) usando Erro Absoluto Médio (MAE), Erro Quadrático Médio (MSE), Ganho Cumulativo Descontado Normalizado (nDCG) e RankDCG.

• Ganhos de Desempenho: O modelo BERT base alcançou um RankDCG médio de 9,51%. O ajuste fino melhorou isso para 15,87%. A introdução do modelo multitarefa com pseudo-rótulos impulsionou significativamente o desempenho para um RankDCG médio de 24,85%.
• Otimização: O ajuste adicional dos pesos de perda para as subtarefas produziu os melhores resultados, alcançando um RankDCG médio de 28,97%.
• Impacto das Subtarefas: A análise dos pesos de perda aprendidos revelou que a importância de subtarefas específicas depende do domínio. Por exemplo, a previsão de gênero foi mais crítica em subreddits centrados em gênero (AskMen, AskWomen), enquanto as subtarefas de Introversão e Pensamento foram dominantes em AskScience.
• Espaço Latente: Projeções de PCA e cálculos de distância interclasse sugerem que a abordagem multitarefa polariza com sucesso o espaço latente, aproximando pontos de dados da mesma classe, melhorando assim a representação interna do modelo.
• Limitação Interdomínio: Quando testado em um cenário interdomínio (treinamento em sete subreddits, teste em um), a abordagem multitarefa performou significativamente pior (5,51% RankDCG) em comparação com os resultados intra-domínio. Os autores atribuem isso à natureza específica do domínio do comportamento e dos traços dos usuários, o que impede que o modelo aprenda uma representação universal de usuário.

Significado e Alegações
O artigo afirma que aproveitar informações centradas no usuário — especificamente demografia, traços de personalidade e marcadores linguísticos como atenuadores — melhora significativamente a previsão dos níveis de influência do usuário em comparação com modelos baseados apenas em texto. Os autores argumentam que, embora as tendências recentes de PLN tenham migrado para abordagens puramente neurais, a reintegração de insights das ciências sociais (como a correlação entre personalidade e influência) fornece uma representação de estado latente mais robusta.

O trabalho demonstra que:

1. A influência do usuário pode ser modelada efetivamente como uma função do endosso da comunidade (k-index) derivada apenas do texto.
2. O aprendizado multitarefa com subtarefas sociolinguísticas supera as linhas de base padrão de ajuste fino em diversos domínios.
3. A contribuição de traços específicos do usuário para a previsão de influência não é uniforme, mas varia conforme o domínio, sugerindo que a influência é específica ao contexto.

Os autores concluem que, embora sua abordagem melhore o desempenho intra-domínio, a dependência de pseudo-rótulos e a natureza específica do domínio do comportamento dos usuários limitam a generalização entre diferentes plataformas sociais. Eles enfatizam a necessidade de aplicação responsável, observando que tais modelos devem ser usados com transparência e cautela em relação à privacidade e aos potenciais vieses inerentes aos dados de treinamento.