🤖 machine learning

Algorithmic Recourse of In-Context Learning for Tabular Data

Dit artikel introduceert de eerste studie naar algoritmische recourse voor in-context learning op tabulaire gegevens, waarbij theoretische garanties worden geboden op de convergentie van oplossingen en een nieuw zeroth-order framework genaamd ASR-ICL wordt voorgesteld dat efficiënt ijle, actiegerichte recourse genereert voor black-box ICL-modellen.

Oorspronkelijke auteurs: Wenshuo Dong, Jiaming Zhang, Shaopneg Fu, Hongbin Lin, Di Wang, Lijie Hu

Gepubliceerd 2026-06-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Wenshuo Dong, Jiaming Zhang, Shaopneg Fu, Hongbin Lin, Di Wang, Lijie Hu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een lening aanvraagt, maar een computer zegt "Nee". Je wilt weten: "Wat kan ik veranderen om de volgende keer een 'Ja' te krijgen?" Dit is het probleem van Algoritmische Recourse. Het is als vragen aan een GPS: "Als ik de bestemming wil bereiken, welke afslag moet ik dan nemen?"

Jarenlang hadden we goede antwoorden op deze vraag wanneer de computer een standaard, vooraf getraind model was. Maar onlangs is er een nieuw type AI populair geworden genaamd In-Context Learning (ICL). Denk bij ICL niet aan een vaste kaart, maar aan een slimme reisagent die vlak voordat hij advies geeft, naar een paar voorbeelden van reizen van anderen kijkt. Omdat deze agent van mening verandert op basis van de voorbeelden die hij op dat moment ziet, kunnen de "regels" voor een goedkeuring van een lening telkens licht verschuiven.

Dit paper pakt een grote vraag aan: Hoe geven we mensen goed, actiegericht advies wanneer de "reisagent" (de AI) zijn regels steeds aanpast op basis van de voorbeelden waar hij naar kijkt?

Hier is een uitsplitsing van hun werk met eenvoudige analogieën:

1. Het Probleen: De verschuivende doelpalen

In de oude dagen was de AI als een vaste verkoopautomaat. Zodra je er geld in stopte, veranderden de knoppen en de snacks binnenin nooit. Als je een andere snack wilde, wist je precies welke knoppen je moest indrukken.

Met In-Context Learning is de AI meer als een kameleon. Hij kijkt naar een paar voorbeelden (de "context") die op het moment dat je een vraag stelt worden gegeven, en verandert dan van kleur (zijn beslisregel) om met hen overeen te komen.

De uitdaging: Als de regels blijven verschuiven, hoe weten we dan of een voorgestelde verandering (zoals "verhoog je inkomen") daadwerkelijk zal werken? Wat als de AI halverwege van gedachten verandert?

2. De Theorie: Bewijzen dat de regels nog steeds bestaan

De auteurs hebben eerst zware wiskunde toegepast om te bewijzen dat de AI, hoewel het een kameleon is, niet chaotisch is.

De analogie: Stel je voor dat de kameleon op een tak zit. Zelfs als hij van kleur verandert, is de tak zelf stevig. De auteurs bewezen dat, zolang je de AI genoeg voorbeelden geeft (een grote "context"), zijn advies stabiel en voorspelbaar wordt.
Het resultaat: Ze toonden aan dat als je de AI genoeg voorbeelden geeft om naar te kijken, het advies convergeert (tot rust komt) en net zo betrouwbaar is als een traditioneel, vast model. Ze bewezen ook dat er altijd een "limiet" is aan hoeveel je moet veranderen om een ander resultaat te krijgen; je zult niet gevraagd worden om het onmogelijke te doen.

3. De Oplossing: ASR-ICL (De slimme zoeklicht)

Omdat de AI een "black box" is (we kunnen niet in zijn brein kijken om te zien hoe hij dingen berekent), kunnen we geen standaard wiskundige trucjes gebruiken om het antwoord te vinden. We moeten gokken en controleren, wat traag en duur is.

De auteurs hebben een nieuw hulpmiddel ontwikkeld genaamd ASR-ICL.

De analogie: Stel je voor dat je een specifieke sleutel zoekt in een enorme, donkere kamer vol met 1.000 laden.
- Oude methode: Je opent elke lade één voor één. Dit duurt eeuwig en kost veel energie (queries).
- ASR-ICL methode: Dit hulpmiddel is als een slim zoeklicht. In plaats van elke lade te controleren, scant het de kamer snel en realiseert het zich: "Hé, de sleutel ligt waarschijnlijk in slechts deze 5 laden." Het richt vervolgens al zijn energie op die 5 laden en negeert de andere 995.
Waarom het werkt: In het echte leven hoef je meestal maar een paar dingen te veranderen (zoals je inkomen of schulden) om een lening goedgekeurd te krijgen, niet alles. ASR-ICL bepaalt automatisch welke paar kenmerken het belangrijkst zijn en negeert de rest. Dit maakt het snel, goedkoop en efficiënt.

4. De Resultaten: Het werkt in de echte wereld

Het team heeft dit getest op echte gegevens (zoals kredietscores, beoordelingen van crimineel risico en medische gegevens) met behulp van verschillende soorten AI-modellen.

Succes: Hun hulpmiddel vond geldige oplossingen (manieren om een "Ja" te krijgen) net zo vaak als de oude methoden, maar deed dit door de AI minder vragen (queries) te stellen.
Efficiëntie: Omdat het zich richtte op een kleine subset van kenmerken, waren de voorgestelde wijzigingen vaak eenvoudiger en realistischer (bijv. "verlaag je schuld met $500" in plaats van "verander van baan, verhuis naar een andere stad en koop een nieuwe auto").
Multi-Class: Het werkte zelfs wanneer er meer dan twee uitkomsten waren (zoals een "Goede", "Gemiddelde" of "Slechte" kredietwaardigheid), en niet alleen "Ja" of "Nee".

Samenvatting

Het paper zegt: "Raak niet in paniek over de nieuwe, verschuivende AI-modellen. We hebben bewezen dat hun advies stabiel is als je ze genoeg voorbeelden geeft. Bovendien hebben we een slim hulpmiddel gebouwd (ASR-ICL) dat werkt als een spotlight, die de paar, eenvoudige veranderingen vindt die je moet doorvoeren om een beter resultaat te krijgen, zonder tijd te verspillen aan het controleren van elke mogelijke optie."

Kernboodschap: Zelfs wanneer de regels van de AI veranderen op basis van waar hij naar kijkt, kunnen we mensen nog steeds duidelijk, actiegericht en efficiënt advies geven over hoe ze hun situatie kunnen verbeteren.

Technische Samenvatting: Algoritmische Recourse van In-Context Learning voor Tabulaire Data

Probleemdefinitie

Het artikel adresseert de kloof tussen het opkomende paradigma van In-Context Learning (ICL) voor tabulaire data en het gevestigde veld van Algoritmische Recourse. Terwijl voorspellende modellen steeds vaker worden ingezet in domeinen met een hoge inzet (bijv. kredietverlening, strafrecht) waar individuen behoefte hebben aan bruikbare begeleiding om ongunstige beslissingen te herstellen, gaan bestaande recourse-methoden uit van een vaste, getrainde beslissingsfunctie.

In tegenstelling hiermee genereren ICL-modellen (zoals TabPFN, TabICL en algemene Large Language Models) dynamisch voorspellingen op basis van een set gelabelde voorbeelden die tijdens de inferentie worden aangeboden. Dit resulteert in een context-geconditioneerde voorspeller ( $f_C$ ), waarbij de beslissingsregel varieert afhankelijk van de specifieke contextset $C$ . Deze dynamische aard daagt de kernveronderstellingen van klassieke recourse uit, wat fundamentele vragen oproept:

Is recourse goed gedefinieerd en begrensd wanneer de beslissingsregel niet vaststaat?
Is recourse stabiel over verschillende context-composities?
Kan recourse efficiënt worden berekend voor black-box ICL-modellen zonder toegang tot gradiënten?

Methodologie

1. Theoretische Analyse

De auteurs formaliseren algoritmische recourse binnen het ICL-framework met behulp van een lineaire regressie-taak geïnduceerd door een single-layer linear self-attention (LSA) model.

Haalbaarheidsgaranties: Ze stellen voorwaarden vast waaronder recourse gegarandeerd is. Specifiek: als alle kenmerken onbegrensd zijn, is recourse gegarandeerd voor alle individuen, mits ten minste één kenmerk aanpasbaar is. Omgekeerd, als kenmerken begrensd zijn en er onveranderlijke kenmerken bestaan, kan recourse voor sommige individuen worden geweigerd, vergelijkbaar met klassieke lineaire classificators.
Convergentie en Grenzen: Het artikel leidt een gesloten oplossing af voor de optimale recourse-perturbatie ( $\delta^*_{ICL}$ $δ_{I C L}^{*}$ ) en bewijst een waarschijnlijkheid-gebaseerde bovengrens op de recourse-kosten.
- Kerninzicht: Naarmate het aantal contextvoorbeelden ( $M$ ) en pre-training demonstraties ( $N$ ) toeneemt, convergeert de ICL-gebaseerde recourse naar de optimale recourse van het onderliggende lineaire model. De perturbatie-grens wordt nauwer naarmate $M$ en $N$ groeien, waarbij de foutterm afhankelijk is van $O(1/N)$ en $O(\sqrt{\ln(d)/M})$ .
- Implicatie: Dit suggereert dat ICL-modellen met voldoende context steeds meer gaan lijken op klassieke lineaire modellen, waardoor de recourse-oplossing stabiliseert.

2. Voorgesteld Algoritme: ASR-ICL

Om de praktische uitdagingen van black-box, hoogdimensionale tabulaire data aan te pakken waarbij gradiënten niet beschikbaar zijn, stellen de auteurs Adaptive Subspace Recourse for In-Context Learning (ASR-ICL) voor.

Zeroth-Order Optimalisatie: ASR-ICL behandelt de generatie van recourse als een beperkt black-box optimalisatieprobleem. Het vertrouwt uitsluitend op functie-evaluaties (queries naar de LLM) in plaats van gradiënten.
Adaptieve Subspace Selectie: Om de vloek van dimensionaliteit te verzachten en het aantal queries te verminderen, optimaliseert het algoritme niet over alle $d$ $d$ kenmerken tegelijkertijd. In plaats daarvan:
1. Houdt een belangsscore bij voor elk kenmerk.
  {% 2. Samplet een kleine subset van kenmerken (subspace grootte $k \ll d$ ) op basis van deze scores.
2. Optimaliseert de recourse binnen deze laagdimensionale subspace met behulp van een zeroth-order solver (RACOS).
3. Update de kenmerk-belangsscores op basis van het succes van de optimalisatie in de gesamplede subspace, waardoor de zoektocht geleidelijk wordt gericht op invloedrijke kenmerken.
Restricties: Het framework handhaaft haalbaarheidsrestricties (bijv. onveranderlijkheid van leeftijd, monotoniciteit van inkomen) via een projectie-operator $\Pi_\Omega$ op kandidaat-oplossingen.
Multi-class Ondersteuning: De methode breidt zich natuurlijk uit naar multi-class tabulaire taken zonder taakspecifieke aanpassingen door te optimaliseren richting een gewenste doelklasse.

Belangrijkste Resultaten

Experimentele Opzet

De auteurs evalueerden ASR-ICL op vijf real-world datasets (Australian Credit, COMPAS, Diabetes, Corporate Rating, Student Performance) die zowel binaire als multi-class taken dekken. Ze testten het tegen gespecialiseerde tabulaire ICL-modellen (TabPFN-2.5, TabICL) en algemene LLM's (Qwen3, LLaMA-3, GPT-4o). Baselines omvatten DiCE, Actionable Recourse (AR) en FACE, geïmplementeerd op getrainde modellen voor vergelijking.

Prestatiebevindingen

Validiteit en Kosten: ASR-ICL bereikt een recourse-validiteit die vergelijkbaar is met bestaande methoden voor getrainde modellen (vaak 100% validiteit bereikend), terwijl het significant lagere recourse-kosten behoudt. Bijvoorbeeld, op de Australian Credit dataset bereikte ASR-ICL perfecte validiteit met een gemiddelde kostenwaarde van 3,83, vergeleken met 8,96 voor DiCE.
Query Efficiëntie: ASR-ICL is zeer query-efficiënt. Het bereikt een vergelijkbare validiteit als full-space zeroth-order baselines, terwijl het het gemiddelde query-budget met 2–3 $\times$ vermindert.
Theoretische Validatie: Experimenten bevestigden het theoretische convergentiegedrag. Naarmate het aantal in-context instanties toenam (van 4 naar 64 shots), stabiliseerde de recourse-validiteit en daalden de kosten, waarbij de prestaties van lineaire-model referenties werden benaderd.
Robuustheid: De methode toonde robuustheid aan tegen variaties in de context-distributie en ordening, hoewel er enige gevoeligheid werd waargenomen bij algemene LLM's onder specifieke prompt-orderingen.
Sparsity: ASR-ICL produceert van nature ijle (sparse) recourse-oplossingen. Casestudies toonden aan dat het voorspellingen kon omdraaien door slechts 2 aanpasbare kenmerken te wijzigen, terwijl andere methoden vaak 5 of meer wijzigingen vereisten.

Betekenis en Claims

Het artikel beweert de eerste systematische studie te presenteren van algoritmische recourse onder in-context learning voor tabulaire data. De betekenis ligt in:

Theoretische Fundering: Het vaststellen dat recourse goed gedefinieerd en begrensd blijft onder dynamische, context-geconditioneerde voorspellers, en het bewijzen dat ICL-gebaseerde recourse convergeert naar klassieke oplossingen naarmate de contextgrootte toeneemt.
Praktisch Framework: Het introduceren van ASR-ICL, het eerste recourse-framework dat specifiek is ontworpen voor black-box ICL-modellen. Het overbrugt de kloof tussen klassieke recourse-methoden (ontworpen voor vaste modellen) en opkomende ICL-paradigma's.
Efficiëntie en Bruikbaarheid: Het demonstreren dat adaptieve zeroth-order optimalisatie ijle, bruikbare en goedkope recourse kan genereren in hoogdimensionale ruimtes zonder interne modelgegevens of gradiënten nodig te hebben.

De auteurs hanteren een bescheiden toon, waarbij zij opmerken dat hoewel hun resultaten de haalbaarheid en convergentie van recourse in ICL-settings valideren, de prestaties van algemene LLM's nog steeds kunnen variëren op basis van prompt-gevoeligheid en taakcomplexiteit, met name in multi-class scenario's. Zij beweren niet alle uitdagingen van ICL op te lossen, maar bieden eerder een fundamentele stap om deze dynamische modellen verantwoordelijk en bruikbaar te maken.