Evaluating the Empirical Relevance of Clustering in Survey-Based Social Research

Imagine que você é um detetive tentando resolver um mistério, mas em vez de procurar por impressões digitais, você está procurando por grupos de pessoas que pensam da mesma forma. No mundo das ciências sociais, pesquisadores costumam distribuir questionários pedindo às pessoas que escrevam seus pensamentos sobre grandes temas, como as mudanças climáticas ou como elas se sentem durante uma pandemia. O objetivo é separar essas milhares de respostas desordenadas em pequenos montes organizados, ou "clusters", para que possamos entender diferentes tipos de pessoas. Por muito tempo, os cientistas usaram a matemática para verificar se esses montes são "bons". Eles observam o quão compactas as respostas estão agrupadas, como se estivessem verificando se um monte de bolas de gude está organizadamente empilhado em uma caixa. Se as bolas de gude estiverem próximas umas das outras e distantes de outros montes, a matemática diz: "Ótimo trabalho!"

Mas aqui está o problema: um monte de bolas de gude pode ser perfeitamente organizado e ainda assim não te dizer absolutamente nada sobre o mundo real. Talvez a matemática diga que dois grupos são distintos, mas, na realidade, as pessoas nesses grupos são tão propensas quanto quaisquer outras a comprar os mesmos mantimentos ou votar no mesmo candidato. Este artigo faz uma pergunta simples e crucial: organizar as pessoas em grupos realmente nos ajuda a prever quem elas são ou o que farão? Os autores introduzem uma nova maneira de testar isso, chamada "Acurácia de Predição com Validação Cruzada" (CVPA). Em vez de apenas perguntar, "Estes grupos parecem matematicamente organizados?", eles perguntam: "Se eu te der o nome do grupo de uma pessoa, você consegue adivinhar a idade, o gênero ou a renda dela melhor do que se apenas desse um palpite?". É a diferença entre separar um baralho por cor (o que parece bonito) e separar um baralho pelo valor (o que realmente te ajuda a ganhar o jogo).

A História do Artigo

Neste estudo, os pesquisadores Leena Farhat, Simon Willcock e William Teahan decidiram colocar esse novo "teste de utilidade" à prova máxima. Eles utilizaram três pesquisas do mundo real: uma da Noruega perguntando o que vem à mente das pessoas quando ouvem "mudanças climáticas", uma do Reino Unido sobre o quanto as pessoas entendem as marés e uma do País de Gales sobre como as pessoas vivenciaram a vida durante a pandemia de COVID-19.

Primeiro, eles tiveram que transformar todas aquelas respostas escritas em números que os computadores pudessem entender. Eles tentaram três métodos diferentes para fazer isso. Tentaram um método da "velha guarda" chamado TF-IDF (que apenas conta com que frequência as palavras aparecem) e dois métodos mais novos e inteligentes baseados em inteligência artificial chamados S-BERT e BERT. Pense no TF-IDF como um dicionário que só sabe quantas vezes uma palavra é usada, enquanto o S-BERT e o BERT são como um bibliotecário sábio que entende o significado por trás das palavras. Os resultados foram claros: os bibliotecários inteligentes (S-BERT e BERT) fizeram um trabalho muito melhor em manter o significado das frases intacto. Quando visualizaram os dados, o método antigo fez tudo parecer um bloco denso e bagunçado, enquanto os novos métodos espalharam as respostas de uma forma que realmente refletia as diferentes ideias das pessoas.

Em seguida, tentaram agrupar essas respostas usando seis algoritmos de computador diferentes. Alguns algoritmos tentavam encontrar círculos de pessoas nítidos e arredondados; outros tentavam encontrar agrupamentos de qualquer formato, mesmo que estivessem dispersos. Geralmente, os cientistas escolheriam o algoritmo que criasse os círculos matematicamente mais "apertados". Mas os autores não pararam por aí. Eles aplicaram seu novo teste de CVPA. Eles perguntaram: "Se dissermos ao computador: 'Esta pessoa pertence ao Grupo A', o computador consegue adivinhar o gênero, a idade ou a renda dela?".

As descobertas foram fascinantes. Na pesquisa sobre a COVID-19, o computador descobriu que as experiências das pessoas estavam profundamente ligadas ao seu dinheiro e ao seu gênero. O algoritmo conseguia adivinhar a renda ou o gênero de uma pessoa apenas sabendo a qual grupo ela pertencia, com uma precisão surpreendente (cerca cerca de 60% para gênero e 54% para renda). Isso significava que os grupos não eram apenas matemática aleatória; eles representavam mundos sociais reais e distintos. Por exemplo, um grupo poderia ser composto por pessoas que só podiam passear com seus cães na porta de casa, enquanto outro grupo tinha acesso a grandes jardins. O computador detectou essa divisão perfeitamente.

No entanto, a história mudou com as outras pesquisas. Na pesquisa climática norueguesa, o computador descobriu que, embora a idade e o gênero importassem um pouco, o dinheiro não parecia dividir os grupos de forma alguma. Pessoas de todos os níveis de renda estavam preocupadas com as mesmas coisas, como inundações e o derretimento do gelo. A pontuação de CVPA para renda foi muito baixa, o que os autores dizem ser uma descoberta positiva! Isso informa aos formuladores de políticas que eles não precisam enviar mensagens diferentes para pessoas ricas e pobres sobre mudanças climáticas; uma mensagem grande e unificada funcionará para todos.

Talvez a parte mais emocionante do artigo seja como o computador se compara aos especialistas humanos. Os pesquisadores compararam os grupos gerados pelo computador com os grupos que especialistas humanos haviam separado manualmente ao ler as respostas. O computador fez um trabalho incrível. Na pesquisa da COVID, os grupos do computador previram dados demográficos quase tão bem quanto os especialistas humanos (0,605 vs 0,609). Na pesquisa norueguesa, o computador foi ligeiramente melhor (0,572 vs 0,571). Isso sugere que os computadores podem encontrar padrões na linguagem que são tão significativos, e às vezes até mais consistentes, do que o que um humano pode encontrar ao ler um por um.

O artigo conclui que não devemos apenas confiar na "organização" de um cluster. Um grupo pode ser matematicamente perfeito, mas inútil para a vida real. O novo teste de CVPA atua como um teste de realidade. Ele nos diz se um grupo de pessoas é verdadeiramente distinto no mundo real ou se é apenas uma ilusão matemática. Se um grupo nos ajuda a prever quem as pessoas são, é um grupo útil. Se não ajuda, mesmo que pareça bonito em um gráfico, pode não valer a pena ser usado para tomar decisões sobre saúde pública, políticas ou marketing. Os autores sugerem que este método nos ajuda a passar de meros palpites para a tomada de decisões baseadas no que realmente importa no mundo real.