P1SCO: Social Dimensions from a Perspectivist Lens

Resumo Técnico: P1SCO – Dimensões Sociais sob uma Lente Perspectivista

Declaração do Problema
As abordagens computacionais atuais para a pragmática social frequentemente tratam o significado linguístico como objetivo ou colapsam interpretações diversas em uma única "verdade fundamental". No entanto, a linguagem é inerentemente perspectivista; o significado social é moldado pelo background cultural, experiência pessoal e identidade do intérprete. Conjuntos de dados anteriores, como o trabalho seminal de Choi et al. (2020), são limitados pela agregação de rótulos (relatando apenas contagens totais por frase), pela dependência de uma única plataforma (Reddit) e pela falta de metadados dos anotadores. Essa agregação obscurece a variação legítima na percepção social, tratando a discordância dos anotadores como ruído, em vez de um sinal significativo de como diferentes indivíduos interpretam a intenção social. Há uma necessidade de um conjunto de dados que preserve as perspectivas individuais dos anotadores, capture variações entre plataformas e vincule rótulos de dimensões sociais a dados demográficos e traços de personalidade dos anotadores.

Metodologia
Os autores introduzem o P1SCO (Perspectivas sobre as 10 dimensões sociais da Conversa), um conjunto de dados projetado para operacionalizar uma abordagem perspectivista para a pragmática social.

• Coleta de Dados: O conjunto de dados compreende 6.000 comentários únicos (2.000 de cada) de três plataformas distintas: Instagram, YouTube e Reddit. Os comentários foram filtrados para ter entre 20 e 100 palavras, não conter emojis e estar em inglês. A estratégia de amostragem utilizou o Conjunto de Dados de Influenciadores do Instagram, a API de Pesquisa do YouTube com geração de IDs aleatórios e o conjunto de dados Pushshift do Reddit.
• Estrutura de Anotação: Diferentemente de trabalhos anteriores que forçavam um único rótulo, o P1SCO permite que os anotadores atribuam múltiplos rótulos a partir de um conjunto de dez dimensões sociais definidas por Choi et al. (2020): Conhecimento, Poder, Status, Confiança, Apoio, Romance, Similaridade, Identidade, Diversãoe Conflito. Os anotadores também podiam selecionar "Outro" (com especificação) ou "Nenhum".
• Recrutamento de Anotadores e Metadados: 543 participantes foram recrutados via Prolific no Reino Unido e nos EUA. Para garantir a qualidade dos dados, o estudo verificou a consistência demográfica com os perfis do Prolific, filtrou outliers com base no tempo de conclusão e incluiu exemplos duplicados para verificações de concordância intra-anotador.
• Perfil dos Anotadores: Antes de rotular, os participantes preencheram questionários sociodemográficos e o inventário de personalidade Big Five de 10 itens (Rammstedt e John, 2007). Isso resultou em um rico conjunto de metadados vinculando 28.775 anotações a características específicas dos anotadores (gênero, idade, nacionalidade, afiliação política, educação, etnia e traços de personalidade).
• Análise: Os autores empregaram modelos de regressão logística de efeitos mistos para examinar como as características dos anotadores preveem a atribuição de rótulos. A concordância foi medida usando o $\kappa$ de Cohen em pares (preferido ao $\alpha$ de Krippendorff para capturar concordância localizada em tarefas perspectivistas) e analisada tanto globalmente quanto estratificada por grupos demográficos e plataformas.

Principais Resultados

• Distribuição de Rótulos: O conjunto de dados é altamente enviesado. Conhecimento (38,2%), Apoio (28,4%) e Similaridade (25,7%) são os rótulos mais frequentes. Romance, Podere Confiançasão comparativamente raros. A maioria dos exemplos contém pelo menos duas dimensões sobrepostas, indicando que as interações sociais raramente são interpretadas através de uma única lente.
• Efeitos de Plataforma: O contexto da plataforma influencia significativamente a percepção. YouTube e Reddit mostram distribuições semelhantes dominadas por Conhecimento, Similaridadee Conflito. Em contraste, as interações no Instagram são caracterizadas por Apoio, Similaridadee Status, com uma prevalência notavelmente maior de Romancee uma proporção menor de rótulos "Nenhum".
• Influências Demográficas e de Personalidade:
  • Gênero: Anotadores do sexo masculino atribuíram significativamente mais rótulos por exemplo do que as mulheres. Embora a concordância geral fosse moderada, as diferenças de gênero na seleção de rótulos foram significativas, particularmente no Reddit e no YouTube. A análise revelou um análogo perceptual aos "gêneroleto" de Tannen: homens tinham maior probabilidade de interpretar interações como Poderou Conflito, enquanto mulheres tinham maior probabilidade de rotular as mesmas interações como Apoio, Confiançaou Similaridade.
  • Personalidade: As correlações entre os traços Big Five e a atribuição de rótulos foram geralmente fracas, mas estatisticamente significativas. Por exemplo, Aberturamostrou uma correlação positiva modesta com anotações de Conhecimento, enquanto Responsabilidadeestava fracamente associada a Apoio.
  • Concordância: Grupos demográficos homogêneos (por exemplo, mesmo gênero ou nacionalidade) exibiram maior concordância dentro do grupo do que a população geral, sugerindo que experiências compartilhadas criam estruturas interpretativas convergentes.
• Modelagem: Modelos de efeitos mistos confirmaram que a plataforma de origem é o preditor mais forte da atribuição de rótulos, seguido por fatores sociodemográficos (particularmente gênero, idade e educação).

Significado e Contribuições
O artigo reivindica três contribuições primárias:

1. Primeiro Conjunto de Dados Perspectivista: O P1SCO é o primeiro conjunto de dados a fornecer anotações de múltiplos rótulos, não agregadas, de dimensões sociais vinculadas a metadados ricos de anotadores, indo além do paradigma da "verdade fundamental".
2. Evidência Empírica para o Perspectivismo: O estudo demonstra que características demográficas e traços de personalidade moldam sistematicamente como as dimensões sociais são percebidas e rotuladas. A discordância é reencenada não como erro, mas como um reflexo da diversidade genuína na percepção social.
3. Orientação Metodológica: Os autores fornecem uma estrutura para anotação perspectivista que preserva explicitamente perspectivas individuais, modela características de anotadores e relata transparentemente a composição demográfica.

Limitações
Os autores reconhecem várias restrições:

• Natureza Interpretativa: Os rótulos refletem a percepção do anotador e não propriedades objetivas do texto, limitando seu uso como verdade fundamental definitiva para classificação.
• Carga Cognitiva: A tarefa de identificar dez dimensões é cognitivamente exigente, e a falta de justificativas explícitas limita a compreensão do raciocínio por trás das discordâncias.
• Diversidade: O pool de anotadores está limitado aos EUA e ao Reino Unido e carece de diversidade étnica, delimitando o escopo cultural do conjunto de dados.
• Generalizabilidade: As descobertas são específicas às três plataformas amostradas e podem não se estender a outros contextos de mídia social.
• Viés de Rótulos: A raridade de certas dimensões (por exemplo, Romance, Poder) cria distribuições enviesadas que podem desafiar o treinamento de modelos supervisionados balanceados sem reamostragem.

Conclusão
O P1SCO estabelece que o significado social não é uniforme, mas é realizado e interpretado através de filtros pessoais e situacionais. Ao preservar a variação no nível do anotador, o conjunto de dados permite o estudo de como objetivos sociais são comunicados e compreendidos entre diversos indivíduos, apoiando pesquisas futuras sobre concordância inter e intra-anotador e a influência da identidade no discurso social.