The Geography of Algorithmic Judgment: LLM Intermediaries, Place Identity, and Racial Steering in Housing Search

Resumo Técnico: A Geografia do Julgamento Algorítmico

Definição do Problema
Os Grandes Modelos de Linguagem (LLMs) estão funcionando cada vez mais como intermediários em buscas de moradia, mediando o acesso à informação e recomendações por meio de interfaces conversacionais. Embora essas ferramentas ofereçam eficiência, há uma preocupação crítica de que elas possam amplificar padrões históricos de segregação e discriminação presentes em seus dados de treinamento. Especificamente, o artigo aborda o risco de "direcionamento racial" (racial steering), onde algoritmos guiam sistematicamente usuários de identidades raciais específicas para dentro ou para longe de certos bairros, potencialmente violando a Lei de Habitação Justa (Fair Housing Act - FHA). Diferente de estudos anteriores que frequentemente dependem de pistas demográficas estáticas, esta pesquisa investiga se o direcionamento é um comportamento emergente resultante da interação complexa entre a identidade do usuário, suas preferências de estilo de vida articuladas e a lógica espacial internalizada pelo modelo em relação a ambientes urbanos específicos.

Metodologia
Os autores conduziram uma auditoria comportamental de sete LLMs (incluindo modelos de código fechado como GPT-4o, Claude Sonnet e Gemini 2.0 Flash, e modelos de pesos abertos como Llama 3.1 e DeepSeek V3) em quatro grandes cidades dos EUA: Chicago, Houston, Nova York e Los Angeles.

• Design Experimental: O estudo utilizou uma metodologia de teste pareado adaptada da aplicação da lei de habitação justa, empregando prompting iterativo através de três condições:
  • P0 (Linha de Base): Recomendações baseadas apenas em pistas demográficas (Negro, Hispânico, Branco ou Neutro/Não especificado).
  • P1 (Condicionada por Preferência): Recomendações incorporando preferências específicas de estilo de vida (ex: restrições de orçamento, necessidades familiares, segurança, caminhabilidade).
  • P2 (Prioridades Inferidas): Recomendações onde o modelo é solicitado a inferir as prioridades do usuário com base nas preferências declaradas e agir sobre elas.
• Coleta de Dados: O conjunto de dados compreendeu 20.160 pontos de dados (2.880 por modelo), com cada execução gerando cinco códigos postais (zip codes) recomendados e palavras-chave de justificativa.
• Métricas de Análise:
  • Probabilidade de Recomendação (PoR): Calculada como a proporção de vezes que um determinado código postal é recomendado para uma determinada identidade.
  • Correlação de Spearman: Mediu a relação entre a porcentagem de um grupo racial específico em um código postal e a PoR para esse grupo.
  • Índice de Oportunidade: Uma medida de z-score composta baseada em sete variáveis do censo (renda, pobreza, taxa de propriedade de imóveis, etc.) para avaliar o acesso material à oportunidade nos locais recomendados.
  • Análise de Padrão de Pontos: Utilizada para contabilizar efeitos de transbordamento espacial (spatial spillover) entre códigos postais.

Principais Contribuições

1. Auditoria Comportamental de Múltiplos Modelos: O estudo fornece uma análise comparativa de sete LLMs distintos, indo além das avaliações de modelo único para avaliar tendências sistêmicas nas recomendações de habitação.
2. Prompting Contextualizado: Ao ir além de simples pistas demográficas para incluir prompting iterativo baseado em preferências, o estudo demonstra como o direcionamento é mediado pela interpretação da identidade do usuário, e não apenas pelo sinal de demografia.
3. Especificidade Geográfica: A pesquisa desafia a suposição de que os resultados de avaliação de LLMs são generalizáveis entre cidades, destacando como histórias urbanas locais e características socioeconômicas influenciam significativamente os padrões de direcionamento.
4. Teste de Mitigação: O artigo avalia a eficácia de intervenções ao nível de prompt (adicionar contexto ou solicitar inferência) para mitigar o viés, descobrindo que essas estratégias produzem resultados desiguais dependendo do grupo demográfico e da cidade.

Resultos

• Direcionamento Emergente: Descobriu-se que o direcionamento é um comportamento emergente da licença interpretativa do modelo, e não uma propriedade estática. Embora presente na linha de base (P0), a adição de contexto de preferência (P1 e P2) frequentemente aumentou ou reconfigurou o número de modelos exibindo comportamentos de direcionamento.
• Variância Demográfica:
  • Casos de Teste Negros: Geralmente experimentaram "direcionamento afirmativo" para bairros de maioria negra em todas as cidades e condições, embora a magnitude tenha variado. Em Houston, as condições de preferência (P1/P2) notavelmente reverteram ou eliminaram este direcionamento.
  • Casos de Teste Brancos: Foram consistentemente direcionados para bairros de maioria branca com a menor flutuação de direção.
  • Casos de Teste Hispânicos: Exibiram o comportamento mais variável, com a direção e a magnitude do direcionamento mudando significamente entre cidades e condições de prompt.
• Padrões Específicos por Cidade:
  • Los Angeles: Mostrou a maior magnitude de direcionamento para casos de teste negros (ex: Mistral em 90%).
  • Houston: Exibiu comportamentos irregulares, incluindo a reversão das direções de direcionamento para grupos negros e hispânicos quando as preferências foram introduzidas.
  • Chicago: Prompts baseados em família (PF3) levaram modelos como GPT-4o e Claude a recomendar usuários negros para códigos postais do South Side com índices de oportunidade mais baixos, enquanto usuários brancos e hispânicos com as mesmas preferências foram recomendados para códigos postais do North Side com índices de oportunidade mais altos.
• Prompt de Inferência (P2): Exigir que o modelo infira prioridades produziu resultados desiguais. Para usuários negros, frequentemente reduziu a magnitude do direcionamento; para usuários hispânicos, às vezes eliminou ou reverteu o direcionamento; para usuários brancos, os resultados foram ruidosos e dependentes da cidade.

Significância e Alegações
O artigo argumenta que o direcionamento em LLMs não é meramente uma função do viés demográfico, mas um resultado de como os modelos interpretam o que desejos específicos (ex: "segurança", "comunidade") significam para um usuário de uma determinada demografia dentro de uma geografia urbana específica. Os autores afirmam que:

• A Cidade Não é uma Unidade Neutra: Resultados de um mercado local não podem ser assumidos como generalizáveis para outro. É necessária expertise local para avaliar ferramentas de IA em setores baseados em localização, pois o direcionamento emerge da interação entre a identidade do usuário e a lógica espacial local.
• Licença Interpretativa: A "licença interpretativa" que os modelos detêm — como eles traduzem uma preferência em uma localização — é o principal mecanismo para o direcionamento. Isso sugere que os modelos podem interpretar a mesma preferência de habitação de forma diferente dependendo da identidade racial do usuário.
• Risco à Habitação Justa: À medida que os LLMs se tornam infraestrutura para busca de moradia, eles correm o risco de reencenar mapas espaciais de desigualdade e limitar a visibilidade do usuário para alternativas que o modelo considera "adequadas".
• Necessidade de Julgamento de Domínio: Os autores concluem que, sem intervenção deliberada e julgamento crítico de profissionais do setor imobiliário, os LLMs podem se tornar um novo mecanismo para reproduzir padrões inequitativos. Eles enfatizam que os compromissos legais e institucionais com a habitação justa exigem expertise específica do domínio para garantir que as ferramentas de IA não minem esses objetivos.