The Geography of Algorithmic Judgment: LLM Intermediaries, Place Identity, and Racial Steering in Housing Search

Technische Samenvatting: De Geografie van Algoritmisch Oordeel

Probleemstelling
Large Language Models (LLM's) fungeren steeds vaker als tussenpersonen bij woningzoekenden, waarbij zij de toegang tot informatie en aanbevelingen via conversationele interfaces bemiddelen. Hoewel deze hulpmiddelen efficiëntie bieden, is er een kritische zorg dat ze historische patronen van segregatie en discriminatie die aanwezig zijn in hun trainingsdata kunnen versterken. Specifiek richt dit artikel zich op het risico van "racial steering" (raciale sturing), waarbij algoritmen gebruikers van specifieke raciale identiteiten systematisch naar bepaalde wijken leiden of juist ervan wegsturen, wat potentieel de Fair Housing Act (FHA) schendt. In tegenstelling tot eerdere studies die vaak vertrouwen op statische demografische kenmerken, onderzoekt dit onderzoek of sturing een emergent gedrag is dat voortkomt uit de complexe interactie tussen de identiteit van een gebruiker, hun gearticuleerde levensstijlvoorkeuren en de geïnternaliseerde ruimtelijke logica van het model met betrekking tot specifieke stedelijke omgevingen.

Methodologie
De auteurs voerden een gedragsaudit uit van zeven LLM's (waaronder closed-source modellen zoals GPT-4o, Claude Sonnet en Gemini 2.0 Flash, en open-weight modellen zoals Llama 3.1 en DeepSeek V3) in vier grote Amerikaanse steden: Chicago, Houston, New York City en Los Angeles.

• Experimenteel Ontwerp: De studie maakte gebruik van een gepaard-testmethodologie, aangepast van de handhaving van eerlijke huisvesting, waarbij iteratieve prompting werd toegepast over drie condities:
  • P0 (Baseline): Aanbevelingen gebaseerd uitsluitend op demografische kenmerken (Zwart, Hispanic, Wit of Neutraal/Niet gespecificeerd).
  • P1 (Voorkeur-geconditioneerd): Aanbevelingen die specifieke levensstijlvoorkeuren integreren (bijv. budgetbeperkingen, gezinsbehoeften, veiligheid, loopbaarheid).
  • P2 (Geïnferred Prioriteiten): Aanbevelingen waarbij het model wordt gevraagd prioriteiten te infereren op basis van genoemde voorkeuren en daarop te handelen.
• Dataverzameling: De dataset bestond uit 20.160 datapunten (2.880 per model), waarbij elke run vijf aanbevolen postcodes en rechtvaardigingssleutelwoorden genereerde.
• Analyse-metrieken:
  • Aanbevelingskans (Probability of Recommendation - PoR): Berekend als de proportie van de keren dat een specifieke postcode wordt aanbevolen voor een gegeven identiteit.
  • Spearman's Correlatie: Mat de relatie tussen het percentage van een specifieke raciale groep in een postcode en de PoR voor die groep.
  • Opportunity Index: Een samengestelde z-score maatstaf gebaseerd op zeven censusvariabelen (inkomen, armoede, woningbezit, etc.) om de materiële toegang tot kansen in aanbevolen gebieden te beoordelen.
  • Point Pattern Analysis: Gebruikt om effecten van ruimtelijke spillover tussen postcodes te verantwoorden.

Belangrijkste Bijdragen

1. Gedragsaudit van Meerdere Modellen: De studie biedt een vergelijkende analyse van zeven verschillende LLM's, waarbij verder wordt gekeken dan single-model evaluaties om systemische trends in woningaanbevelingen te beoordelen.
2. Contextuele Prompting: Door verder te gaan dan eenvoudige demografische kenmerken door iteratieve, op voorkeuren gebaseerde prompting toe te voegen, laat de studie zien hoe sturing wordt bemiddeld door de interpretatie van de identiteit van de gebruiker in plaats van alleen door demografische signalering.
3. Geografische Specificiteit: Het onderzoek daagt de aanname uit dat de resultaten van LLM-evaluaties generaliseerbaar zijn over steden heen, en benadrukt hoe lokale stedelijke geschiedenissen en sociaaleconomische kenmerken sturingspatronen significant beïnvloeden.
4. Mitigatietesten: Het artikel evalueert de effectiviteit van interventies op promptniveau (het toevoegen van context of het vragen om inferentie) bij het mitigeren van bias, waarbij wordt vastgesteld dat deze strategieën een ongelijkmatig resultaat opleveren, afhankelijk van de demografische groep en de stad.

Resultaten

• Emergente Sturing: Sturing werd gevonden als een emergent gedrag van de interpretatieve licentie van het model in plaats van een statische eigenschap. Hoewel aanwezig bij de baseline (P0), leidde de toevoeging van voorkeurscontext (P1 en P of P2) vaak tot een toename of herconfiguratie van het aantal modellen die sturingsgedrag vertoonden.
• Demografische Variantie:
  • Zwarte Testgevallen: Ervoer over het algemeen "affirmatieve sturing" naar zwarte meerderheidswijken in alle steden en condities, hoewel de omvang varieerde. In Houston zorgden de voorkeurscondities (P1/P2) er opvallend voor dat deze sturing werd omgekeerd of geëlimineerd.
  • Witte Testgevallen: Werden consistent gestuurd naar witte meerderheidswijken met de minste fluctuatie in richting.
  • Hispanic Testgevallen: Vertoonden het meest variabele gedrag, waarbij de richting en omvang van de sturing aanzienlijk verschilden per stad en per promptconditie.
• Stadsspecifieke Patronen:
  • Los Angeles: Toonde de hoogste magnitude van sturing voor zwarte testgevallen (bijv. Mistral op 90%).
  • Houston: Toonde onregelmatige gedragingen, inclusclusief de omkering van de sturingsrichtingen voor zwarte en Hispanic groepen wanneer voorkeuren werden geïntroduceerd.
  • Chicago: Prompts gebaseerd op gezinnen (PF3) leidden modellen zoals GPT-4o en Claude om zwarte gebruikers naar postcodes aan de South Side te bevelen met lagere opportunity indices, terwijl witte en Hispanic gebruikers met identieke voorkeuren naar postcodes aan de North Side werden bevolen met hogere opportunity indices.
• Inference Prompting (P2): Het vereisen dat het model prioriteiten medieert, produceerde ongelijkmatige resultaten. Voor zwarte gebruikers verminderde het vaak de magnitude van de sturing; voor Hispanic gebruikers elimineerde of veranderde het soms de sturing; voor witte gebruikers waren de resultaten ruizig en afhankelijk van de stad.

Betekenis en Claims
Het artikel betoogt dat sturing in LLM's niet louter een functie is van demografische bias, maar een resultaat van hoe modellen interpreteren wat specifieke verlangens (bijv. "veiligheid", "gemeenschap") betekenen voor een gebruiker van een bepaalde demografie binnen een specifieke stedelijke geografie. De auteurs claimen dat:

• De Stad is Geen Neutraal Eenheid: Resultaten uit één lokale markt kunnen niet worden verondersteld generaliseerbaar te zijn naar een andere. Lokale expertise is vereist om AI-tools in plaatsgebonden sectoren te evalueren omdat sturing ontstaat uit de interactie tussen gebruikersidentiteit en lokale ruimtelijke logica.
• Interpretatieve Licentie: De "interpretatieve licentie" die modellen bezitten — hoe zij een voorkeur vertalen naar een locatie — is het primaire mechanisme voor sturing. Dit suggereert dat modellen dezelfde woningvoorkeur mogelijk anders interpreteren afhankelijk van de raciale identiteit van de gebruiker.
• Risico voor Eerlijke Huisvesting: Naarmate LLM's infrastructuur worden voor het zoeken naar woningen, lopen ze het risico de ruimtelijke kaarten van ongelijkheid te heropvoeren en de zichtbaarheid van gebruikers te beperken tot alternatieven die het model als "geschikt" beschouwt.
• Noodzaak voor Domeindoelmatigheid: De auteurs concluderen dat zonder bewuste interventie en kritisch oordeel van vastgoedpraktijkbeoefenaars, LLM's een nieuw mechanisme kunnen worden voor het reproduceren van onrechtvaardige patronen. Zij benadrukken dat juridische en institutionele verbintenissen aan eerlijke huisvesting domeinspecifieke expertise vereisen om te waarborgen dat AI-tools deze doelen niet ondermijnen.