Technische Samenvatting: Trade-offs zijn domeinafhankelijk: Verbetering van nauwkeurigheid en rechtvaardigheid bij onroerendgoedbelastingaanslagen

Probleemstelling

Onderzoek naar algoritmische rechtvaardigheid werkt al lang met de veronderstelling van een universele trade-off tussen rechtvaardigheid en nauwkeurigheid: het verbeteren van de rechtvaardigheid van een model vereist vaak een vermindering van de voorspellende nauwkeurigheid. Dit artikel daagt die veronderstelling uit binnen het specifieke domein van onroerendgoedbelastingaanslagen in de Verenigde Staten.

Onroerendgoedbelastingaanslagen in de VS worden momenteel geplaagd door systematische regressiviteit, waarbij eigenaren van minder waardevolle panden een onevenredig hoger belastingdruk betalen ten opzichte van de waarde van hun woning, vergeleken met eigenaren van waardevollere panden. Dit schendt het principe van verticale rechtvaardigheid. Hoewel regressiviteit vaak wordt toegeschreven aan corruptie of wettelijke plafonds op waardestijgingen, betogen de auteurs dat een primaire drijvende kracht de afhankelijkheid is van schaarse data en simplistische modellen door taxateurs. In tegenstelling tot kopers en verkopers die rijke data (inspecties, taxaties) gebruiken om de eerlijke marktwaarde te bepalen, vertrouwen taxateurs vaak op beperkte exterieurgegevens, wat leidt tot aanslagen die regresseren naar het gemiddelde. Dit resulteert in overtaxatie van woningen met een lage waarde en undertaxatie van woningen met een hoge waarde.

De centrale onderzoeksvraag is of inspanningen om de nauwkeurigheid van aanslagen te vergroten (door gebruik te maken van meer data en betere modellen) inherent leiden tot meer rechtvaardigheid (verminderde regressiviteit), of dat er in dit domein een trade-off bestaat.

Methodologie

De auteurs gebruiken een uitgebreide dataset van 26 miljoen onroerendgoedtransacties over de periode 2018–2023, die 95% van de Amerikaanse county's bestrijkt (2.844 van de 3.007). De data, afkomstig van Cotality (voorheen CoreLogic), omvat transactiedetails, eigenschappen van het onroerend goed en belastinginformatie, gekoppeld aan sociaaleconomische data uit de American Community Survey (ACS).

Het onderzoek maakt gebruik van drie complementaire analytische benaderingen:

1. Empirische Correlatieanalyse: De auteurs analyseren de relatie tussen de nauwkeurigheid van aanslagen en rechtvaardigheid over jurisdicties heen onder "status quo"-praktijken. Ze meten nauwkeurigheid met behulp van de Mean Absolute Percentage Error (MAPE) tussen de vastgestelde waarden en de feitelijke verkoopprijzen. Rechtvaardigheid wordt gemeten met drie verschillende regressiviteitsmaten: de Log Coëfficiënt (LC), de Suits Index (SI) en de Prijsgerelateerde Differentie (PRD).
2. Contrfactuele Simulatie (Ablatie-experiment): Met behulp van LASSO- en Random Forest-modellen die op county-niveau zijn getraind, simuleren de auteurs aanslagpijplijnen. Ze vergelijken een "schaar" model (dat slechts drie zeer beschikbare eigenschapkenmerken gebruikt) met een "rijk" model (dat alle beschikbare eigenschapkenmerken gebruikt). Dit test of het toevoegen van eigenschapskenmerken zowel de nauwkeurigheid als de rechtvaardigheid gelijktijdig verbetert.
3. Experiment met Integratie van Censusdata: De auteurs simuleren de opname van publiek beschikbare Census block group-data (bijv. inkomens, onderwijs en demografie van de buurt) in Random Forest-aanslagmodellen. Dit experiment evalueert of het toevoegen van sociaaleconomische data op buurtniveau, dat momenteel door de meeste taxateurs onderbenut wordt, Pareto-verbeteringen oplevert (winsten in zowel nauwkeurigheid als rechtvaardigheid) ten opzichte van status quo-voorspellingen.

Het evaluatiekader maakt gebruik van een Pareto-grensbenadering. De auteurs onderzoeken of contrfactuele modellen gelijktijdige winsten in nauwkeurigheid en rechtvaardigheid bieden ten opzichte van baselines. Als een model beide maten verbetert zonder trade-off, vertegenwoordigt het een Pareto-verbetering.

Belangrijkste Resultaten

1. Sterke Correlatie in Status Quo-Praktijken

Bij 98% van de geanalyseerde county's waren status quo-aanslagen regressief. Er bestaat echter een sterke positieve correlatie tussen nauwkeurigheid en rechtvaardigheid: county's met lagere aanslagfouten (hogere nauwkeurigheid) vertoonden over het algemeen lagere niveaus van regressiviteit (hogere rechtvaardigheid). Dit suggereert dat methodologische verbeteringen in huidige praktijken gezamenlijke winsten kunnen opleveren.

2. Gesimuleerde Modellen en Toevoeging van Kenmerken

In het ablatie-experiment waarbij schaar versus rijke LASSO-modellen werden vergeleken:

• Het toevoegen van eigenschapskenmerken verbeterde de nauwkeurigheid in het merendeel van de gevallen.
• Cruciaal: in 99,9% van de county's waar de nauwkeurigheid verbeterde, verbeterde ook de rechtvaardigheid. Slechts één county (DeSoto County, Missouri) vertoonde een trade-off.
• De omvang van de rechtvaardigheidswinsten neigde te correleren met de omvang van de nauwkeurigheidswinsten.

3. Impact van Censusdata

In het experiment waarbij Census block group-data werd opgenomen in Random Forest-modellen (exclusief county's met wettelijke aanslagplafonds):

• Er werden significante gelijktijdige verbeteringen in nauwkeurigheid en rechtvaardigheid waargenomen in 14,7% van de county's.
• Onder die county's die een significante verandering vertoonden, ondervonden 96,2% gelijktijdige winsten in beide maten, met slechts 3,8% die trade-offs vertoonden.
• De toevoeging van Censusdata verhoogde over het algemeen de vastgestelde waarden voor dure woningen en verlaagde ze voor goedkope woningen, waardoor de regressiviteit werd verminderd.

4. Intersectionele Rechtvaardigheid (Ras en Inkomen)

De opname van Censuskenmerken verminderde ook de regressiviteit met betrekking tot ras en inkomen op buurtniveau:

• Ras: Voornamelijk zwarte buurten (gedefinieerd als >30% zwarte bewoners) zagen gemiddelde dalingen in de vastgestelde waarden, terwijl voornamelijk niet-zwarte buurten stijgingen zagen. Dit suggereert een vermindering van de belastingdruk voor zwarte huiseigenaren.
• Inkomen: Aanslagen daalden in buurten met een lager inkomen en namen toe in buurten met een hoger inkomen, waardoor het belastingstelsel progressiever werd met betrekking tot inkomen.

Belangrijkste Bijdragen

• Domeinspecifiek Bewijs: Het artikel levert het eerste grootschalige empirische bewijs dat de trade-off tussen rechtvaardigheid en nauwkeurigheid niet universeel is, en toont specifiek aan dat bij onroerendgoedbelastingaanslagen nauwkeurigheid en rechtvaardigheid sterk correleren.
• Methodologisch Kader: Het introduceert een holistische evaluatie van aanslagpijplijnen met behulp van domeinrelevante maten (verticale rechtvaardigheid/regressiviteit) in plaats van abstracte rechtvaardigheidsbeperkingen, en laat zien dat trade-offs in deze setting eerder de uitzondering dan de regel zijn.
• Beleidsgereede Interventies: Het onderzoek identificeert dat het opnemen van publiek beschikbare Censusdata een haalbare, goedkope hervorming is die de nauwkeurigheid en rechtvaardigheid van onroerendgoedbelastingaanslagen in honderden Amerikaanse county's aanzienlijk kan verbeteren.
• Uitdaging aan Heersende Veronderstellingen: De bevindingen daagden de impliciete veronderstelling in de literatuur over eerlijk machine learning uit dat het bouwen van rechtvaardigere modellen het opofferen van nauwkeurigheid vereist, en suggereren dat in op regressie gebaseerde systemen in de publieke sector "rechtvaardigheid gratis kan komen" door betere data en modellering.

Betekenis en Beweringen

De auteurs beweren dat hun bevindingen fundamenteel de veronderstelde universaliteit van de trade-off tussen rechtvaardigheid en nauwkeurigheid uitdagen. Ze betogen dat de trade-off domeinafhankelijk is. In de context van onroerendgoedbelasting, waar rechtvaardigheid wordt gedefinieerd als verticale rechtvaardigheid (proportionaliteit aan waarde) en nauwkeurigheid als de nabijheid tot de marktwaarde, verbetert het verbeteren van het vermogen van het model om de marktwaarde te voorspellen inherent de systematische bias die regressiviteit veroorzaakt.

Het artikel stelt dat de waargenomen trade-off vaak voortkomt uit:

1. Data-Schaar: Huidige modellen missen de data die nodig is om onderscheid te maken tussen eigendomswaarden, wat leidt tot fouten door regressie naar het gemiddelde die eigenaren van laagwaardige woningen schaden.
2. Misalignement van Maten: Het gebruik van abstracte rechtvaardigheidsbeperkingen (zoals statistische pariteit) in plaats van domeinspecifieke rechtvaardigheidsprincipes (zoals verticale rechtvaardigheid).

De auteurs concluderen dat goed ontworpen modelverbeteringen – specifiek de adoptie van op bomen gebaseerde Automated Valuation Models (AVM's) en de integratie van Censusdata – zowel rechtvaardigheid als nauwkeurigheid gelijktijdig kunnen bevorderen in grootschalige systemen in de publieke sector. Ze benadrukken dat hoewel trade-offs theoretisch mogelijk zijn (bijvoorbeeld als nauwkeurigheidswinsten alleen voorkomen bij beroepen op hoogwaardige eigendommen), deze niet worden waargenomen in de praktische toepassing van het toevoegen van data aan aanslagmodellen.

Beperkingen en Scope

De auteurs blijven bescheiden over de reikwijdte van hun beweringen:

• Afhankelijkheid van Baselines: De bevinding "geen trade-off" is relatief ten opzichte van huidige status quo-modellen en schaarse baselines. Trade-offs kunnen ontstaan als taxateurs al opereerden nabij een efficiëntiegrens of als verschillende definities van rechtvaardigheid werden gebruikt.
• Representativiteit van Data: Het onderzoek is gebaseerd op bemiddelde verkoopdata, wat mogelijk niet perfect de volledige populatie van vastgestelde eigendommen vertegenwoordigt (bijvoorbeeld het uitsluiten van langdurige bewoners-eigenaren). Weegexperimenten suggereren echter dat dit de bevindingen niet significant verandert.
• Verkoopprijs als Ground Truth: Het onderzoek gaat ervan uit dat de verkoopprijs gelijkstaat aan de eerlijke marktwaarde. De auteurs erkennen dat verkoopprijzen zelf bevooroordeeld kunnen zijn door raciale discriminatie (bijvoorbeeld onderschatting van huizen in zwarte buurten). Hoewel hun modellen de nauwkeurigheid ten opzichte van de verkoopprijs verbeteren, merken ze op dat dit het onderliggende probleem van raciale onderwaardering op de markt niet volledig oplost, hoewel het wel de belastingdruk op die buurten verlaagt.
• Juridische en Structurele Barrières: Het artikel merkt op dat wettelijke plafonds op waardestijgingen in 17 staten en het ontbreken van individuele rasdata voor taxateurs de volledige realisatie van deze winsten beperken.