Resumen Técnico: "No en mi patio trasero": Los LLM descubren sesgos sociales en línea y fuera de línea contra las personas en situación de calle

1. Planteamiento del problema

La situación de calle sigue siendo un desafío global persistente, con más de 876,000 personas experimentando la falta de vivienda (PEH, por sus siglas en inglés) registradas en los EE. UU. en 2025. Una barrera significativa para aliviar esta crisis es el sesgo social, que deshumaniza a las PEH, moldea la percepción pública e influye en la formulación de políticas, lo que a menudo conduce al rechazo de refugios y servicios. Si bien los medios de texto en línea (Reddit, X/Twitter, noticias) y el discurso de los consejos municipales fuera de línea reflejan e influyen en la opinión pública, los recursos existentes carecen de la capacidad para monitorear estos sesgos de manera confiable en múltiples dominios.

Trabajos previos, como OATH (Ranjit et al., 2024), proporcionaron anotaciones de expertos para X (Twitter), pero se limitaron a una sola plataforma y palabra clave, fallando al auditar los cambios en la prevalencia de etiquetas al escalar con Modelos de Lenguaje de Gran Escala (LLM). Los socios municipales requieren algo más que simples puntuaciones de superposición; necesitan saber si los monitores automatizados inflan o deflactan sistemáticamente categorías de estigma específicas (por ejemplo, "No en mi patio trasero" o NIMBY) que impulsan la reacción pública negativa.

2. Metodología

2.1 Construcción del corpus

Los autores construyeron el primer corpus de sesgo hacia las PEH de múltiples dominios, compuesto por 50,447 textos recopilados de 2015 a 2025 en diez ciudades de los EE. UU. Las ciudades fueron seleccionadas en dos grupos emparejados mediante kNN (cinco más pequeñas, cinco más grandes) basados en población, tasas de falta de vivienda e índice de Gini. Las fuentes de datos incluyen:

• Reddit: Publicaciones y comentarios.
• X (anteriormente Twitter): Publicaciones que no son re-publicaciones (reposts).
• Noticias: Artículos.
• Reuniones de Consejos Municipales: Transcripciones (verbatim para algunas ciudades; audio/video transcrito mediante Whisper para otras; se excluyeron resúmenes de agendas).

El texto fue recuperado utilizando un léxico de 11 términos para PEH (por ejemplo, "homeless", "affordable housing", "unhoused") y anonimizado mediante spaCy y pydeidentify para eliminar información de identificación personal (PII). Para los datos de X, donde la geolocalización está disponible para <3% de las publicaciones, un pipeline de geolocalización de múltiples etapas infirió las ubicaciones de los usuarios, localizando con éxito aproximadamente el 80% de los usuarios en la submuestra de 2025.

2.2 Taxonomía y anotación

El estudio formaliza la detección de sesgo hacia las PEH como una tarea de clasificación multietiqueta de 16 categorías. La taxonomía extiende los nueve marcos de OATH (Ranjit et al., 2024) para incluir matices específicos de la plataforma (por ejemplo, distinguir entre preguntas genuinas vs. retóricas, hecho/afirmación vs. observación).

Se definió un Marco de Sesgo Negativo para el monitoreo de la ubicación de refugios, que contiene cinco categorías específicas:

1. Pregunta retórica
2. No en mi patio trasero (NIMBY)
3. Generalización dañina
4. Merecedor/no merecedor
5. Racista

Se creó un conjunto de oro (gold-standard) estratificado de 1,698 elementos, anotado por tres evaluadores entrenados en colaboración con socios sin fines de lucro. Para manejar la subjetividad, los autores emplearon el etiquetado suave (soft labeling) (Fornaciari et al., 2021), donde la etiqueta de referencia para una categoría se determina por un voto de mayoría (2 de 3) entre los anotadores. El resto del corpus fue etiquetado usando GPT-4.1 con prompts de pocos disparos (few-shot), sirviendo como anotaciones de "maestro" en lugar de verdad fundamental (ground truth).

2.3 Protocolo de evaluación

El estudio compara seis LLM con prompts (zero-shot y few-shot) contra el conjunto de oro:

• Modelos: GPT-4.1, Gemini 2.5 Pro, Grok-4, LLaMA 3.2 3B, Qwen 2.5 7B y Phi-4 Mini.
• Métricas: Puntuación Macro-F1 y un novedoso auditoría de brecha de prevalencia. La brecha de prevalencia ($\hat{\pi}_{model} - \pi_{ref}$) mide el cambio sistemático en la tasa positiva de una categoría en comparación con el estándar de oro, revelando si un modelo sobrestima o subestima etiquetas de sesgo específicas.

3. Resultados clave

3.1 Rendimiento del benchmark

• Macro-F1: Las API de código cerrado (GPT-4.1, Gemini 2.5 Pro) lograron un rendimiento moderado con un macro-F1 promedio de aproximadamente 43-44% (few-shot). Los modelos locales (LLaMA, Phi-4, Qwen) puntuaron más bajo, promediando alrededor del 32%. El uso de prompts de pocos disparos (few-shot) proporcionó mejoras marginales, pero no cerró la brecha entre los modelos locales y los cerrados.
• F1 moderado vs. Error sistemático: Aunque las puntuaciones F1 sugerían viabilidad, ocultaban problemas significativos de calibración.

3.2 Brechas de prevalencia y descalibración

La auditoría de la brecha de prevalencia reveló una descalibración sistemática en todos los modelos:

• Sobre-etiquetado de NIMBY: Todos los modelos sobre-etiquetaron la categoría "No en mi patio trasero". El promedio agrupado de la brecha fue de +11.5 puntos porcentuales (pp).
• Subdetección de afirmaciones fácticas: Todos los modelos detectaron menos de lo debido las etiquetas de "proporcionar hecho/afirmación", con una brecha agrupada de -30.5 pp.
• Varianza del modelo: Aunque Qwen quedó rezagado respecto a GPT-4.1 por ~10 puntos de F1, su sobre-etiquetado de NIMBY fue 7 veces peor (+27.4 pp frente a +4.0 pp).

3.3 Análisis de errores

El análisis de los falsos positivos de consenso (elementos donde $\ge$3 de 6 modelos zero-shot etiquetaron incorrectamente como NIMBY) identificó modos de falla específicos:

• Proxies léxicos: Los modelos trataron la mera presencia de vocabulario de vivienda/falta de vivienda (89.7% en falsos positivos frente a 72.2% en verdaderos negativos) y signos de interrogación (32.5% frente a 9.7%) como proxies de la oposición de los residentes.
• Falta de detección de intención: Los modelos fallaron al distinguir entre textos que discuten la vivienda (ej. "Tienen toda esa vivienda asequible, pero la desventaja es que está en [Ciudad]") y textos que se oponen a la ubicación de viviendas.
• Consecuencia: Esto conduce a una distorsión donde las comunidades parecen más opuestas a los refugios y menos basadas en evidencia de lo que realmente son.

4. Contribuciones

1. Corpus de múltiples dominios: Lanzamiento de un corpus de 50,447 elementos que abarca Reddit, X, noticias y transcripciones de consejos municipales de diez ciudades de EE. UU., recopilados mediante un léxico de 11 términos para PEH.
2. Referencia de estándar de oro (Gold-Standard): Un conjunto estratificado de 1,698 elementos con una taxonomía multietiqueta de 16 categorías, anotado por expertos en el dominio y socios sin fines de lucro, utilizando etiquetado suave para manejar la subjetividad.
3. Protocolo de auditoría de brecha de prevalencia: Una metodología que complementa las puntuaciones F1 con verificaciones de calibración sistemáticas para detectar cambios sistemáticos en la prevalencia de etiquetas, crucial para herramientas de monitoreo.
4. Benchmarking de LLM y análisis de errores: Demostración de que puntuaciones F1 moderadas coexisten con grandes descalibraciones, identificando específicamente que los modelos utilizan el vocabulario de vivienda y las formas de pregunta como proxies de NIMBY.

5. Significado y afirmaciones

El artículo afirma proporcionar el primer recurso de PLN (Procesamiento de Lenguaje Natural) de múltiples dominios para monitorear el estigma hacia las PEH, co-diseñado con socios sin fines de lucro. Su principal significancia radica en demostrar que la precisión (F1) es insuficiente para el monitoreo de sesgos; sin auditorías de brecha de prevalencia, los LLM pueden distorsionar sistemáticamente la realidad de la opinión pública, haciendo que las comunidades parezcan más hostiles a los refugios de lo que son.

Los autores enfatizan que el corpus y el protocolo de auditoría ofrecen a los municipios una base reproducible para el monitoreo del estigma. Advierten que los tableros de control (dashboards) etiquetados por LLM no deben tratarse como la verdad fundamental sin auditorías recurrentes contra un conjunto de referencia de estándar de oro. El trabajo respalda el despliegue de herramientas de "monitoreo direccional", siempre que se acompañen de topes de brecha de prevalencia y validación regular con humanos en el bucle (human-in-the-loop) para evitar la amplificación de señales de oposición falsa.

Limitaciones señaladas por los autores:

• El estándar de oro es una referencia para la auditoría, no una verdad infalible sobre el sesgo subjetivo.
• Las categorías raras (ej. "racista") tienen muy pocos positivos en el conjunto de oro para cálculos estables de brecha de prevalencia.
• El corpus está limitado a diez ciudades de EE. UU. y texto en inglés, por lo que no representa todos los contextos globales o socioeconómicos.
• No se verificó la actividad de bots en las redes sociales.