💬 NLP

OATH-Frames: Characterizing Online Attitudes Towards Homelessness with LLM Assistants

Este artículo presenta OATH-Frames, una tipología de nueve categorías para analizar las actitudes en línea hacia la falta de vivienda en los EE. UU., y demuestra que aprovechar los modelos de lenguaje de gran tamaño para asistir a expertos en la materia puede escalar la anotación de 2.4 millones de publicaciones de Twitter con una aceleración de 6.5 veces y una pérdida mínima de rendimiento, proporcionando conocimientos matizados sobre el sentimiento público a través de diferentes demografías y regiones.

Autores originales: Jaspreet Ranjit, Brihi Joshi, Rebecca Dorn, Laura Petry, Olga Koumoundouros, Jayne Bottarini, Peichen Liu, Eric Rice, Swabha Swayamdipta

Publicado 2026-06-09

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Jaspreet Ranjit, Brihi Joshi, Rebecca Dorn, Laura Petry, Olga Koumoundouros, Jayne Bottarini, Peichen Liu, Eric Rice, Swabha Swayamdipta

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina intentar comprender cómo se sienten millones de personas respecto a un tema complejo y emocional como la falta de vivienda. Si intentaras leer cada uno de los tuits sobre el tema, quedarías sepultado bajo una montaña de texto más rápido de lo que podrías parpadear. Es como intentar beber de una manguera de incendios.

Este artículo, titulado "OATH-Frames", trata sobre la construcción de un mejor par de gafas para ver qué hay realmente en esa manguera. Los investigadores utilizaron una mezcla de expertos en trabajo social humano e IA poderosa (Modelos de Lenguaje Extensos) para clasificar 2.4 millones de tuits sobre la falta de vivienda en los EE. UU.

Esta es la historia de cómo lo hicieron, desglosada en partes sencillas:

1. El Problema: Las gafas de "talla única"

Antes de este estudio, si querías analizar tuits sobre la falta de vivienda, podrías usar herramientas estándar que simplemente preguntan: "¿Es este tuit tóxico?" (Toxicidad) o "¿Es este tilde feliz o triste?" (Sentimiento).

Los investigadores argumentan que estas herramientas son como intentar clasificar una bolsa mixta de frutas usando solo una etiqueta de "Rojo" y "Verde".

El Defecto: Un tuit podría decir: "La gente sin hogar es perezosa y sucia". Las herramientas estándar podrían pasarlo por alto porque no utiliza "palabras malsonantes" (baja toxicidad) y no es "feliz" (sentimiento negativo). Pero es profundamente dañino.
La Realidad: Las actitudes de las personas son desordenadas. Puedes sentir simpatía por una persona sin hogar y, al mismo tiempo, estar enojado con el gobierno por no solucionar el problema, todo en la misma frase. Las etiquetas simples de "bueno/malo" pierden este matiz.

2. La Solución: El menú "OATH-Frames"

El equipo creó un nuevo "menú" de nueve categorías específicas (marcos o frames) para describir exactamente cómo habla la gente sobre la falta de vivienda. Piensa en esto como un menú de degustación de un chef en lugar de solo "comida".

Agruparon estas nueve categorías en tres sabores principales:

Críticas (Las Quejas):
- Crítica al Gobierno: Culpar a políticos o leyes.
- Crítica Social: Culpar a la sociedad o a personas "hipócritas".
  la Ayuda Económica: Discutir sobre hacia dónde deberían ir los dólares de los impuestos.
Percepciones (Los Estereotipos):
- Generalizaciones Dañinas: Llamar a todos los sin hogar ladrones, adictos o perezosos.
- Digno vs. No Digno: Argumentar que algunos grupos (como los veteranos) merecen más ayuda que otros (como los inmigrantes).
- No en mi patio trasero (NIMBY): "No me importa la gente sin hogar, solo que no sea en mi vecindario".
Respuestas (Las Acciones):
- Soluciones: Sugerir arreglos, refugios o cambios de política.
- Interacción Personal: Compartir una historia sobre el encuentro con una persona sin hogar.
- Representación Mediática: Hablar sobre cómo las noticias o programas de TV muestran la falta de vivienda.

3. El Proceso: La "Danza Humano-IA"

Clasificar 2.4 millones de tuits a mano le tomaría a un equipo humano años. Clasificarlos solo con IA es arriesgado porque la IA puede malinterpretar señales sociales sutiles (como el sarcasmo o referencias políticas específicas).

Así que inventaron una "Danza Humano-IA":

Los Expertos: Los expertos en trabajo social definieron primero las reglas (el "menú") y etiquetaron un pequeño lote de tuits para enseñar a la IA qué buscar.
El Asistente de IA (GPT-4): La IA intentó etiquetar miles de tuits. Cuando se confundía, explicaba su razonza (como un estudiante mostrando su procedimiento).
La Revisión: Los expertos humanos revisaron el "trabajo" de la IA y corrigieron los errores. Encontraron que, al dejar que la IA hiciera el trabajo pesado y solo revisar los resultados, fueron 6.5 veces más rápidos en el etiquetado, con solo una mínima caída en la precisión.
El Tramo Final: Una vez que la IA aprendió los trucos de los expertos, entrenaron a un modelo de IA más pequeño y rápido para que etiquetara los 2.4 millones de tuits restantes por su cuenta.

4. Lo que Encontraron: Los Patrones Ocultos

Una vez que tuvieron todos los 2.4 millones de tuits clasificados en estas nueve categorías, pudieron ver patrones que antes eran invisibles.

El Punto Ciego de la "Toxicidad": Encontraron que muchos tuits que contenían generalizaciones dañinas (como llamar a los sin hogar "sucios") tenían puntuaciones de "toxicidad" bajas. El nuevo sistema "OATH-Frames" de la IA detectó esto, mientras que las herramientas antiguas lo pasaron por alto.
La Ubicación Importa:
- En California, Washington y Oregón, la gente era más propensa a usar Generalizaciones Dañinas (estereotipos). Los investigadores creen que esto se debe a que hay poblaciones sin hogar visibles y sin refugio en esas zonas, lo que genera reacciones más directas (y a veces negativas).
- En Nueva York, la gente era más propensa a discutir sobre grupos Dignos vs. No Dignos. Esto parecía estar vinculado a las noticias sobre migrantes y solicitantes de asilo llegando a la ciudad, lo que desató debates sobre quién "merece" la ayuda.
La División "Ucrania vs. Inmigrante":
- Cuando la gente comparaba a los estadounidenses sin hogar con ucranianos, los tuits trataban mayormente sobre Crítica al Gobierno y Ayuda Económica (ej. "¿Por qué enviamos miles de millones a Ucrania cuando tenemos gente sin hogar aquí?").
- Cuando comparaban a los estadounidenses sin hogar con inmigrantes, los tuits eran mucho más hostiles, llenos de Generalizaciones Dañinas y actitudes NIMBY (ej. "Están tomando nuestros trabajos/viviendas").
El Tiempo Importa: Durante grandes eventos de noticias (como los debates sobre el financiamiento de la guerra Rusia-Ucrania), los tuits aumentaron en categorías específicas. Cuando el Congreso discutía la ayuda para Ucrania, los argumentos de "Ayuda Económica" y "Digno vs. No Digno" explotaron en los tuits.

La Conclusión

Este artículo no solo contó tuits; enseñó a una computadora a entender la connotación de la ira, la simpatía y la confusión humana respecto a la falta de vivienda.

Al combinar la experiencia humana en trabajo social con la velocidad de la IA, crearon una herramienta que puede detectar actitudes sutiles y dañinas que los detectores de "grosero vs. amable" pasan por alto. Demostraron que la forma en que hablamos de la falta de vivienda cambia dependiendo de dónde vivimos, con quién nos comparamos y qué está sucediendo en las noticias en este momento.

Nota: El artículo se enfoca enteramente en analizar estas actitudes en línea para ayudar a investigadores y grupos de defensa a comprender mejor la opinión pública. No pretende resolver la falta de vivienda directamente ni ofrecer consejos clínicos, sino que proporciona una lente más clara para observar el problema.

Planteamiento del Problema
Las actitudes públicas hacia problemas sociales complejos, como la falta de vivienda en los EE. UU., son valiosas para la política y la reforma, pero son difíciles de comprender a escala. Los métodos tradicionales de las ciencias sociales, incluyendo los estudios etnográficos y las encuestas cualitativas, tienen un alcance limitado y no pueden procesar el volumen de discurso en línea generado en plataformas como Twitter. Si bien los Modelos de Lenguaje Extensos (LLMs) ofrecen una solución potencial para escalar la investigación en ciencias sociales, su fiabilidad al procesar actitudes latentes y matizadas hacia temas sensibles sigue siendo una cuestión abierta. Los clasificadores de sentimiento y toxicidad existentes suelen fallar al capturar los estereotipos dañinos sutiles y el encuadre específico de la falta de vivienda, particularmente cuando esta retórica se ve enmascarada por el humor, el sarcasmo o las generalizaciones sutiles.

Metodología
Los autores proponen un marco colaborativo que involucra a expertos en trabajo social y LLMs para caracterizar las actitudes en línea. La metodología consta de tres componentes principales:

Descubrimiento de Marcos (Frame Discovery): Utilizando la teoría fundamentada y la teoría del encuadre, cuatro expertos en el dominio analizaron una muestra de 3.1 millones de publicaciones de Twitter (filtradas de un total inicial de 5 millones) para desarrollar una tipología novedosa llamada OATH-Frames (Actitudes en Línea hacia la Falta de Vivienda). Esta tipología categoriza las actitudes en tres temas generales —Críticas, Percepciones y Respuestas— que se dividen a su vez en nueve marcos específicos del tema:
- Críticas: Crítica al Gobierno, Crítica Social, Asignación de Recursos de Ayuda Monetaria.
- Percepciones: Generalización Dañina, Merecedor vs. No Merecedor, No en mi Patio Trasero (NIMBY).
- Respuestas: Soluciones/Intervenciones, Interacción Personal, Representación Mediática.
Estrategias de Anotación: Los autores emplearon tres enfoques de anotación distintos para evaluar la escalabilidad y la precisión:
- Solo Expertos: Expertos en el dominio anotaron 4,100 publicaciones, logrando un F1 macro de 0.55 y un $\kappa$ de Fleiss de 0.46.
- Experto Asistido por LLM (Experto+GPT-4): Este flujo de trabajo involucró a GPT-4 generando predicciones iniciales con razonamiento de Cadena de Pensamiento (CoT), las cuales fueron validadas y corregidas por expertos. Los expertos utilizaron las Guías OATH para refinar los prompts y filtrar falsos positivos. Este enfoque resultó en una aceleración de 6.5× en el tiempo de anotación en comparación con los expertos trabajando solos, con solo una reducción de 3 puntos en el F1 macro (0.52 vs. 0.55).
- Predicción del Modelo: Un modelo Flan-T5-Large fue ajustado (fine-tuned) utilizando los conjuntos de datos combinados de expertos y experto+LLM (aprox. 10.4k ejemplos) para predecir los marcos en un conjunto de datos a gran escala de 2.4 millones de publicaciones. Este modelo logró un F1 macro de 0.50, desempeñándose de manera comparable al entorno de experto+LLM.
Análisis: Los autores utilizaron las 2.4 millones de anotaciones predichas para analizar las actitudes a través de estados, períodos de tiempo y comparaciones con otras poblaciones vulnerables. También compararon los OATH-Frames contra clasificadores estándar de toxicidad y sentimiento.

Resultos Clave

Eficiencia de Anotación: El flujo de trabajo Experto+GPT-4 redujo significativamente el tiempo requerido para la anotación (de ~187 segundos a ~29 segundos por publicación) manteniendo una alta precisión, demostrando un compromiso viable para escalar tareas socialmente sensibles.
Limitaciones de los Clasificadores Existentes: El estudio encontró que los clasificadores estándar de toxicidad y sentimiento fallan al identificar la retórica dañina contra las personas sin hogar (PEH). La mayoría de las publicaciones etiquetadas con el marco de Generalización Dañina tenían puntuaciones de toxicidad por debajo de 0.5, y las distribuciones de sentimiento para publicaciones dañinas y no dañinas fueron estadísticamente similares.
Tendencias Sociopolíticas:
- Variación Geográfica: La Generalización Dañina fue más prominente en publicaciones sobre California, Washington y Oregón, correlacionándose con poblaciones más altas de PEH sin hogar. En contraste, Merecedor vs. No Merecedor y Ayuda de Dinero fueron más prominentes en Nueva York, correlacionándose con discusiones sobre inmigración y solicitantes de asilo.
- Correlación Temporal: Las actitudes aumentaron en diciembre de 2022, coincidiendo con los debates del Congreso de los EE. UU. sobre la ayuda para Ucrania. Este período vio un aumento en los marcos de Crítica al Gobierno y Merecedor vs. No Merecedor, donde el financiamiento para Ucrania se contrastó con la crisis doméstica de falta de vivienda.
- Comparación de Poblaciones: Cuando las PEH se compararon con los ucranianos, el discurso público se centró en la Crítica al Gobierno y la asignación de recursos. Por el contrario, las comparaciones entre las PEH y los inmigrantes provocaron actitudes de NIMBY y Generalizaciones Dañinas.

Significancia y Reivindicaciones
El artículo afirma proporcionar un marco generalizable para comprender las actitudes públicas matizadas a escala en temas socialmente sensibles. Al introducir los OATH-Frames, los autores demuestran que el modelado de tipologías de encuadre específicas ofrece ventajas distintas sobre el análisis de sentimiento y toxicidad de grano grueso, particularmente en la detección de estereotipos sutiles y retórica dañina contra poblaciones marginadas. El trabajo sirve como un plano para integrar la experiencia en ciencias sociales con las capacidades de los LLM para acelerar el análisis de la opinión pública, permitiendo que los grupos de defensa y los responsables de políticas obtengan una comprensión más profunda de problemas sociales complejos como la falta de vivienda. Los autores declaran explícamente que sus datos y código se pondrán a disposición pública para apoyar investigaciones adicionales en este dominio.

1. El Problema: Las gafas de "talla única"

2. La Solución: El menú "OATH-Frames"

3. El Proceso: La "Danza Humano-IA"

4. Lo que Encontraron: Los Patrones Ocultos

La Conclusión

Más como este