Auditable machine learning for high-stakes decisions

In de moderne wereld nemen algoritmen beslissingen die levens vormgeven. Ze bepalen wie een lening krijgt, wie borgtocht krijgt toegestaan, wie wordt aangenomen voor een baan en welke patiënten urgente medische zorg ontvangen. Jarenlang was de standaardmanier om deze beslissingen te begrijpen het vragen welke factoren de waarschijnlijkheid omhoog of omlaag duwden. Als iemand een lening werd geweigerd, kon een uitleg zijn dat het inkomen te laag was of de schulden te hoog. Maar deze benadering behandelt elke factor als een punt op een glijdende schaal, waarbij een hoge score op één gebied simpelweg een lage score op een ander gebied kan compenseren. Deze logica van "volledige compensatie" werkt goed voor het rangschikken van advertenties, maar faalt wanneer wetten en regelgeving in het spel zijn. In de echte wereld van bestuur zijn sommige condities absolute poorten. Een ontbrekend document, een strafblad of een specifieke medische contra-indicatie kan een besluit volledig blokkeren, ongeacht hoe sterk het overige bewijs ook is. Omgekeerd kan een specifieke combinatie van feiten genoeg zijn om een goedkeuring te garanderen, ongeacht andere zwaktes. Tot nu toe hadden machine learning-modellen moeite om deze taal van absolute vereisten en voldoende triggers te spreken, en boden ze vaak slechts vage verhalen over wat een resultaat beïnvloedde in plaats van het resultaat zelf te certificeren.

Een nieuwe studie introduceert een systeem dat specifiek is ontworpen om deze hoogwaardige, controleerbare beslissingen te behandelen. De onderzoekers ontwikkelden een model genaamd een bipolaire logische netwerk, dat werkt op basis van een eenvoudig maar krachtig idee: dat veel beslissingen in de echte wereld zijn opgebouwd uit twee verschillende soorten regels die samenwerken. Het eerste type identificeert wat voldoende is om een uitkomst te triggeren, zoals een reeks condities die, indien voldaan, een positief resultaat garanderen. Het tweede type identificeert wat noodzakelijk is, en fungeert als een reeks poorten die gepasseerd moeten worden voor elke positieve uitkomst om plaats te vinden. Als een noodzakelijke conditie ontbreekt, wordt de beslissing direct geveto's. Net zoals een ontbrekende sleutel niet vervangen kan worden door een grotere portemonnee. Het systeem leert deze twee sets regels gelijktijdig van data, en combineert ze in één enkele voorspelling. In tegenstelling tot andere modellen die een "black-box"-beslissing achteraf proberen uit te leggen, bouwt dit systeem de beslissing en de uitleg ervan als één en hetzelfde object. De voorspelling is de regel, en de regel is de voorspelling.

De onderzoekers testten deze aanpak op dertig verschillende datasets uit de echte wereld, variërend van kredietwaardigheid en strafrecht tot medische diagnose en personeelsverloop. Ze vergeleken hun nieuwe systeem met tien andere populaire machine learning-methoden, inclusief complexe "black-box"-modellen die bekend staan om hun hoge nauwkeurigheid maar slechte transparantie, en simpelere "white-box"-modellen die transparant zijn maar vaak minder accuraat. De resultaten lieten zien dat het nieuwe systeem een nauwkeurigheidsniveau bereikte dat statistisch gelijk was aan de beste black-box-modellen voor de specifieke taken waar controleerbare regels van belang zijn. Het presteerde beter dan traditionele beslisbomen en andere regelgebaseerde systemen, en hoewel het iets minder accuraat was dan een specifiek transparant model genaamd een additief model, bood het iets wat dat model niet kon: een heldere, Booleaanse structuur die expliciet vermeldt wat vereist is en wat voldoende is. In het specifieke domein van audit-beslissingstaken evenaarde het systeem de prestaties van het krachtige XGBoost-model, een standaard in de industrie, terwijl het een helder, controleerbaar logisch pad bood.

Naast pure nauwkeurigheid richtte de studie zich op de vraag of het systeem daadwerkelijk de moeilijke vragen kon beantwoorden die toezichthouders en auditors stellen. Kunnen we bewijzen dat een specifieke conditie noodzakelijk was? Kunnen we een pad naar goedkeuring vinden dat een regel omzeilt? Het systeem demonstreerde het vermogen om noodzakelijke condities met hoge precisie te herstellen, waarbij het bestaande methoden die in de sociale wetenschappen en epidemiologie worden gebruikt, voor dit specifieke doel overtrof. In tests met synthetische beleidsscenario's maakte het systeem zeer weinig fouten bij het vetoën van gevallen die toegelaten hadden moeten worden, waarbij de foutieve afwijzingen onder de halve procent bleven. Bij toepassing op echte data, zoals gegevens over personeelsverloop, identificeerde het systeem succesvol "hygiënefactoren"—condities zoals inkomen of functierol die, indien afwezig, als een veto fungeren—en onderscheidde deze van "motivatorfactoren" die een positieve uitkomst kunnen triggeren. Dit onderscheid weerspiegelt langgevestigde theorieën in de organisatiepsychologie, waarbij de afwezigheid van basisbehoeften ontevredenheid veroorzaakt, maar de aanwezigheid ervan niet noodzakelijkerwijs tot tevredenheid leidt. Het model leerde deze structuur zelfstandig, zonder dat het werd verteld naar dergelijke zaken te zoeken.

De onderzoekers onderwerpen het systeem ook aan strikte controles om te verzekeren dat het niet simpelweg data memoriseert of tegenstrijdigheden creëert. Ze verifieerden dat de regels die het systeem genereert nooit met elkaar in strijd zijn en dat het systeem consistent "ja" of "nee" kan antwoorden op vragen over of een specifieke set feiten voldoende was om een beslissing te triggeren, of dat een ontbrekend feit een beslissing zou blokkeren. In een test met biologische data waarbij de ware oorzaak-gevolgrelaties bekend waren, identificeerde het systeem correct de richting van de invloed in drieëntachtig procent van de onderzochte gevallen. Dit suggereert dat het model niet alleen patronen vindt, maar de onderliggende logica van hoe deze systemen werken, vastlegt. De studie merkte ook zorgvuldig op waar het systeem minder goed functioneert. Wanneer de data bestaat uit continue signalen, zoals het herkennen van een geluid of een afbeelding, waarbij één factor perfect een andere kan compenseren, daalt de prestatie van het systeem. Dit is geen gebrek, maar een kenmerk van het ontwerp; het systeem geeft toe wanneer de wereld niet werkt volgens strikte poorten en triggers, en presteert slechter in die scenario's, wat een voorspelbare en eerlijke uitkomst is.

De betekenis van dit werk ligt in het vermogen om de kloof te overbruggen tussen de behoefte aan hoge nauwkeurigheid en de behoefte aan absolute transparantie. In velden zoals de financiële sector, de rechtspraak en de gezondheidszorg kan een beslissing niet worden genomen als deze niet geaudit kan worden. Huidige instrumenten dwingen vaak tot een keuze tussen een zeer accuraat model dat zijn redenering niet kan uitleggen, en een simpel model dat gemakkelijk uit te leggen is maar vaak fouten maakt. Deze nieuwe benadering biedt een middenweg waarbij het model zowel accuraat genoeg is om nuttig te zijn, als gestructureerd genoeg om gecertificeerd te kunnen worden. Het biedt een manier om niet alleen te vragen "waarom werd deze persoon afgewezen?", maar ook "wat was er precies vereist om deze persoon te laten goedkeuren, en werd aan die vereiste voldaan?". Door het leren van de dubbele structuur van voldoende triggers en noodzakelijke poorten, biedt het systeem een taal die overeenkomt met de logica van de wetten en beleidsregels die het bedoeld is te handhaven. Het claimt niet het meest accurate model te zijn voor elk mogelijk probleem, maar voor het specifieke, kritieke domein van beslissingen met hoge inzet, biedt het een nieuwe standaard voor wat het betekent om een controleerbare machine te zijn.