The Geography of Algorithmic Judgment: LLM Intermediaries, Place Identity, and Racial Steering in Housing Search

Resumen Técnico: La Geografía del Juicio Algorítmico

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLM) están funcionando cada vez más como intermediarios en la búsqueda de vivienda, mediando el acceso a la información y las recomendaciones a través de interfaces conversacionales. Si bien estas herramientas ofrecen eficiencia, existe una preocupación crítica de que puedan amplificar los patrones históricos de segregación y discriminación presentes en sus datos de entrenamiento. Específicamente, el artículo aborda el riesgo de "direccionamiento racial" (racial steering), donde los algoritmos guían sistemáticamente a usuarios de identidades raciales específicas hacia o lejos de ciertos vecindarios, lo que podría violar la Ley de Vivienda Justa (FHA). A diferencia de estudios previos que suelen depender de señales demográficas estáticas, esta investigación investiga si el direccionamiento es un comportamiento emergente resultante de la compleja interacción entre la identidad de un usuario, sus preferencias de estilo de vida articuladas y la lógica espacial internalizada del modelo con respecto a entornos urbanos específicos.

Metodología
Los autores realizaron una auditoría conductual de siete LLM (incluyendo modelos de código cerrado como GPT-4o, Claude Sonnet y Gemini 2.0 Flash, y modelos de pesos abiertos como Llama 3.1 y DeepSeek V3) en cuatro ciudades principales de EE. UU.: Chicago, Houston, Nueva York y Los Ángeles.

• Diseño Experimental: El estudio utilizó una metodología de pruebas emparejadas adaptada de la aplicación de la ley de vivienda justa, empleando prompting iterativo a través de tres condiciones:
  • P0 (Línea Base): Recomendaciones basadas únicamente en señales demográficas (Negro, Hispano, Blanco o Neutral/No especificado).
  • P1 (Condicionada por Preferencias): Recomendaciones que incorporan preferencias de estilo de vida específicas (por ejemplo, restricciones de presupuesto, necesidades familiares, seguridad, transitabilidad).
  • P2 (Prioridades Inferidas): Recomendaciones donde se le pide al modelo que infiera las prioridades del usuario basándose en las preferencias declaradas y actúe en consecuencia.
• Recolección de Datos: El conjunto de datos comprendió 20,160 puntos de datos (2,880 por modelo), con cada ejecución generando cinco códigos postales recomendados y palabras clave de justificación.
• Métricas de Análisis:
  • Probabilidad de Recomendación (PoR): Calculada como la proporción de veces que se recomienda un código postal específico para una identidad determinada.
  • Correlación de Spearman: Midió la relación entre el porcentaje de un grupo racial específico en un código postal y la PoR para ese grupo.
  • Índice de Oportunidad: Una medida de z-score compuesta basada en siete variables del censo (ingresos, pobreza, propiedad de la vivienda, etc.) para evaluar el acceso material a la oportunidad en las áreas recomendadas.
  • Análisis de Patrones de Puntos: Utilizado para contabilizar los efectos de desbordamiento espacial entre códigos postales.

Contribuciones Clave

1. Auditoría Conductual de Múltiples Modelos: El estudio proporciona un análisis comparativo de siete LLM distintos, yendo más allá de las evaluaciones de un solo modelo para evaluar tendencias sistémicas en las recomendaciones de vivienda.
2. Prompting Contextualizado: Al ir más allá de las simples señales demográficas para incluir un prompting basado en preferencias e iterativo, el estudio demuestra cómo el direccionamiento es mediado por la interpretación de la identidad del usuario y no solo por la señalización demográfica.
3. Especificidad Geográfica: La investigación desafía la suposición de que los resultados de la evaluación de los LLM son generalizables entre ciudades, destacando cómo las historias urbanas locales y las características socioeconómicas influyen significamente en los patrones de direccionamiento.
4. Pruebas de Mitigación: El artículo evalúa la efectividad de las intervenciones a nivel de prompt (añadir contexto o pedir inferencia) para mitigar el sesgo, encontrando que estas estrategias producen resultados desiguales dependiendo del grupo demográfico y la ciudad.

Resultados

• Direccionamiento Emergente: Se encontró que el direccionamiento es un comportamiento emergente de la licencia interpretativa del modelo en lugar de una propiedad estática. Aunque está presente en la línea base (P0), la adición de contexto de preferencia (P1 y P2) a menudo aumenta o reconfigura el número de modelos que exhiben comportamientos de direccionamiento.
• Variación Demográfica:
  • Casos de Prueba Negros: Generalmente experimentaron un "direccionamiento afirmativo" hacia vecindarios de mayoría negra en todas las ciudades y condiciones, aunque la magnitud varió. En Houston, las condiciones de preferencia (P1/P2) notablemente revirtieron o eliminaron este direccionamiento.
  • Casos de Prueba Blancos: Fueron dirigidos consistentemente hacia vecindarios de mayoría blanca con la menor fluctuación en la dirección.
  • Casos de Prueba Hispanos: Exhibieron el comportamiento más variable, con la dirección y la magnitud del direccionamiento cambiando significamente entre ciudades y condiciones de prompt.
• Patrones Específicos de la Ciudad:
  • Los Ángeles: Mostró la mayor magnitud de direccionamiento para casos de prueba negros (por ejemplo, Mistral al 90%).
  • Houston: Mostró comportamientos irregulares, incluyendo la reversión de las direcciones de direccionamiento para los grupos negro e hispano cuando se introdujeron las preferencias.
  • Chicago: Los prompts basados en la familia (PF3) llevaron a modelos como GPT-4o y Claude a recomendar a usuarios negros códigos postales del South Side con menores índices de oportunidad, mientras que los usuarios blancos e hispanos con preferencias idénticas fueron recomendados a códigos postales del North Side con mayores índices de oportunidad.
• Prompting de Inferencia (P2): Requerir que el modelo infiera prioridades produjo resultados desiguales. Para los usuarios negros, a menudo redujo la magnitud del direccionamiento; para los usuarios hispanos, a veces eliminó o revirtió el direccionamiento; para los usuarios blancos, los resultados fueron ruidosos y dependientes de la ciudad.

Significancia y Reivindicaciones
El artículo argumenta que el direccionamiento en los LLM no es meramente una función del sesgo demográfico, sino un resultado de cómo los modelos interpretan qué significan ciertos deseos (por ejemplo, "seguridad", "comunidad") para un usuario de un determinado perfil demográfico dentro de una geografía urbana específica. Los autores afirman que:

• La Ciudad No es una Unidad Neutral: Los resultados de un mercado local no pueden asumirse como generalizables a otro. Se requiere experiencia local para evaluar las herramientas de IA en sectores basados en el lugar porque el direccionamiento emerge de la interacción entre la identidad del usuario y la lógica espacial local.
• Licencia Interpretativa: La "licencia interpretativa" que poseen los modelos —cómo traducen una preferencia en una ubicación— es el mecanismo principal para el direccionamiento. Esto sugiere que los modelos pueden interpretar la misma preferencia de vivienda de manera diferente dependiendo de la identidad racial del usuario.
• Riesgo para la Vivienda Justa: A medida que los LLM se convierten en infraestructura para la búsqueda de vivienda, corren el riesgo de reencarnar mapas espaciales de desigualdad y limitar la visibilidad del usuario hacia alternativas que el modelo considera "adecuadas".
• Necesidad de Juicio de Dominio: Los autores concluyen que, sin una intervención deliberada y un juicio crítico de los profesionales del sector inmobiliario, los LLM pueden convertirse en un nuevo mecanismo para reproducir patrones inequitativos. Enfatizan que los compromisos legales e institucionales con la vivienda justa requieren experiencia específica del dominio para asegurar que las herramientas de IA no socaven estos objetivos.