Evaluating the Empirical Relevance of Clustering in Survey-Based Social Research

Imagina que eres un detective intentando resolver un misterio, pero en lugar de buscar huellas dactilares, buscas grupos de personas que piensan de la misma manera. En el mundo de las ciencias sociales, los investigadores suelen repartir encuestas pidiendo a la gente que escriba sus pensamientos sobre temas trascendentales como el cambio climático o cómo se sienten durante una pandemia. El objetivo es clasificar estas miles de respuestas desordenadas en montones ordenados, o "clústeres", para poder entender diferentes tipos de personas. Durante mucho tiempo, los científicos han utilizado las matemáticas para comprobar si estos montones son "buenos". Se fijan en qué tan apretadas están las respuestas, como si estuvieran comprobando si un montón de canicas está perfectamente apilado en una caja. Si las canicas están cerca unas de otras y lejos de otros montones, las matemáticas dicen: "¡Buen trabajo!".

Pero aquí está el truco: un montón de canicas puede ser perfectamente ordenado y, aun así, no decirte absolutamente nada sobre el mundo real. Tal vez las matemáticas digan que dos grupos son distintos, pero en realidad, las personas en esos grupos son igual de propensas a comprar los mismos comestibles o votar al mismo candidato. Este artículo plantea una pregunta sencilla pero crucial: ¿el hecho de clasificar a las personas en grupos ayuda realmente a predecir quiénes son o qué harán? Los autores presentan una nueva forma de probar esto llamada "Precisión de Predicción con Validación Cruzada" (CVPA, por sus siglas en inglés). En lugar de preguntar simplemente, "¿estos grupos se ven matemáticamente ordenados?", preguntan: "Si te doy el nombre del grupo de una persona, ¿puedes adivinar su edad, género o ingresos mejor de lo que lo harías si solo estuvieras adivinando?". Es la diferencia entre clasificar una baraja de cartas por color (lo cual se ve bien) y clasificarla por valor (lo cual realmente te ayuda a ganar el juego).

La historia del artículo

En este estudio, los investigadores Leena Farhat, Simon Willcock y William Teahan decidieron poner a prueba este nuevo "test de utilidad" al máximo nivel. Tomaron tres encuestas del mundo real: una de Noruega que preguntaba a la gente qué les viene a la mente cuando escuchan "cambio climático", una del Reino Unido sobre cuánto entiende la gente sobre las mareas y una de Gales sobre cómo experimentó la gente la vida durante la pandemia de COVID-19.

Primero, tuvieron que convertir todas esas respuestas escritas en números que las computadoras pudieran entender. Probaron tres métodos diferentes para hacer esto: un método de la vieja escuela llamado TF-IDF (que solo cuenta cuántas veces aparece una palabra), y dos métodos más nuevos y más inteligentes basados en inteligencia artificial llamados S-BERT y BERT. Piensa en TF-IDF como un diccionario que solo sabe cuántas veces se usa una palabra, mientras que S-BERT y BERT son como un bibliotecario sabio que entiende el significado detrás de las palabras. Los resultados fueron claros: los bibliotecarios inteligentes (S-BERT y BERT) hicieron un trabajo mucho mejor manteniendo intacto el significado de las oraciones. Cuando visualizaron los datos, el método antiguo hacía que todo pareciera una mancha densa y desordenada, mientras que los nuevos métodos distribuían las respuestas de una manera que realmente reflejaba las diferentes ideas que la gente tenía.

A continuación, intentaron clasificar estas respuestas en grupos utilizando seis algoritmos de computadora diferentes. Algunos algoritmos intentaban encontrar círculos de personas de forma redonda y ordenada; otros intentaban encontrar clústeres de cualquier forma, incluso si estaban dispersos. Normalmente, los científicos elegirían el algoritmo que creara los círculos matemáticamente más "ajustados". Pero los autores no se detuvieron ahí. Aplicaron su nuevo test de CVPA. Preguntaron: "Si le decimos a una computadora: 'Esta persona pertenece al Grupo A', ¿puede la computadora adivinar su género, edad o ingresos?".

Los hallazgos fueron fascinantes. En la encuesta de COVID-19, la computadora encontró que las experiencias de las personas estaban profundamente ligas a su dinero y su género. El algoritmo podía adivinar el ingreso o el género de una persona simplemente conociendo a qué grupo pertenecía, con una precisión sorprendente (alrededor del 60% para el género y el 54% para los ingresos). Esto significaba que los grupos no eran solo matemáticas aleatorias; representaban mundos sociales reales y diferentes. Por ejemplo, un grupo podría ser de personas que solo podían pasear a sus perros desde la puerta de su casa, mientras que otro grupo tenía acceso a grandes jardines. La computadora detectó esta división perfectamente.

Sin embargo, la historia cambió con las otras encuestas. En la encuesta climática de Noruega, la computadora encontró que, aunque la edad y el género importaban un poco, el dinero no parecía dividir a los grupos en absoluto. Personas de todos los niveles de ingresos estaban preocupadas por las mismas cosas, como las inundaciones o el derretimiento del hielo. El puntaje de CVPA para los ingresos fue muy bajo, lo que los autores dicen que es un descubrimiento positivo. Les dice a los responsables de la política que no necesitan enviar mensajes diferentes a la gente rica y a la pobre sobre el cambio climático; un mensaje grande y unificado funcionará para todos.

Quizás la parte más emocionante del artículo es cómo la computadora se compara con los expertos humanos. Los investigadores compararon los grupos generados por la computadora con los grupos que expertos humanos habían clasificado manualmente leyendo las respuestas. La computadora hizo un trabajo increíble. En la encuesta de COVID, los grupos de la computadora predijeron los datos demográficos casi tan bien como los expertos humanos (0.605 vs 0.609). En la encuesta de Noruega, la computadora de hecho lo hizo ligeramente mejor (0.572 vs 0.571). Esto sugiere que las computadoras pueden encontrar patrones en el lenguaje que son tan significativos, y a veces incluso más consistentes, que lo que un humano puede encontrar leyendo uno por uno.

El artículo concluye que no debemos confiar ciegamente en la "pulcritud" de un clúster. Un grupo puede ser matemáticamente perfecto pero inútil para la vida real. El nuevo test de CVPA actúa como un control de realidad. Nos dice si un grupo de personas es verdaderamente distinto en el mundo real o si es solo una ilusión matemática. Si un grupo nos ayuda a predecir quiénes son las personas, es un grupo útil. Si no lo hace, incluso si se ve bonito en un gráfico, podría no valer la pena usarlo para tomar decisiones sobre salud pública, políticas o marketing. Los autores sugieren que este método nos ayuda a pasar de las conjeturas a la toma de decisiones basadas en lo que realmente importa en el mundo real.