🤖 machine learning

Algorithmic Recourse of In-Context Learning for Tabular Data

Diese Arbeit stellt die erste Untersuchung von algorithmischem Recourse für In-Context Learning auf tabellarischen Daten vor, liefert theoretische Garantien für die Konvergenz der Lösung und schlägt ASR-ICL vor, ein neuartiges Zero-Order-Framework, das effizient spärlichen, handlungsorientierten Recourse für Black-Box-ICL-Modelle generiert.

Ursprüngliche Autoren: Wenshuo Dong, Jiaming Zhang, Shaopneg Fu, Hongbin Lin, Di Wang, Lijie Hu

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Wenshuo Dong, Jiaming Zhang, Shaopneg Fu, Hongbin Lin, Di Wang, Lijie Hu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beantragen einen Kredit, aber ein Computer sagt „Nein“. Sie möchten wissen: „Was könnte ich ändern, um beim nächsten Mal ein ‚Ja‘ zu bekommen?“ Dies ist das Problem des Algorithmic Recourse (algorithmische Handlungsfähigkeit). Es ist wie die Frage an ein Navigationssystem: „Wenn ich das Ziel erreichen will, welche Abbiegungen muss ich nehmen?“

Jahrelang hatten wir gute Antworten darauf, wenn der Computer ein Standardmodell war. Aber vor kurzem wurde eine neue Art von KI namens In-Context Learning (ICL) populär. Betrachten Sie ICL nicht als eine feste Karte, sondern als einen schlauen Reiseverkehrskaufmann, der sich kurz vor der Beratung ein paar Beispiele anderer Reisen ansieht. Da dieser Agent seine Meinung basierend auf den Beispielen ändert, die er gerade sieht, können sich die „Regeln“ für eine Kreditgenehmigung bei jeder Anfrage leicht verschieben.

Diese Arbeit befasst sich mit der großen Frage: Wie geben wir Menschen gute, umsetzbare Ratschläge, wenn der „Reiseverkehrskaufmann“ (die KI) seine Regeln ständig ändert, basierend auf den Beispielen, die er gerade betrachtet?

Hier ist eine Aufschlüsselung ihrer Arbeit unter Verwendung einfacher Analogien:

1. Das Problem: Die verschobene Torpfosten

In den alten Zeiten war die KI wie ein fester Verkaufsautomat. Sobald man Geld einwarf, änderten sich die Knöpfe und die Snacks im Inneren nie. Wenn man einen anderen Snack wollte, wusste man genau, welche Knöpfe zu drücken waren.

Mit In-Context Learning ist die KI eher wie ein Chamäleon. Sie schaut sich ein paar Beispiele (den „Kontext“) an, die im Moment der Anfrage bereitgestellt werden, und ändert dann ihre Farbe (ihre Entscheidungsregel), um zu diesen zu passen.

Die Herausforderung: Wenn sich die Regeln ständig verschieben, wie wissen wir dann, ob eine vorgeschlagene Änderung (wie „Erhöhung des Einkommens“) tatsächlich funktionieren wird? Was, wenn die KI mitten im Prozess ihre Meinung ändert?

2. Die Theorie: Beweis, dass die Regeln existieren

Die Autoren haben zuerst einige schwere mathematische Berechnungen durchgeführt, um zu beweisen, dass die KI, obwohl sie ein Chamäleon ist, nicht chaotisch ist.

Die Analogie: Stellen Sie sich vor, das Chamäleon sitzt auf einem Ast. Auch wenn es die Farbe wechselt, ist der Ast selbst stabil. Die Autoren haben bewiesen, dass die KI, solange man ihr genügend Beispiele zeigt (einen großen „Kontext“), ihre Ratschläge stabil und vorhersehbar macht.
Das Ergebnis: Sie zeigten, dass die Ratschläge der KI konvergieren (sich festlegen) und genauso zuverlässig werden wie bei einem traditionellen, festen Modell, wenn man der KI genügend Beispiele gibt, die sie betrachten kann. Sie bewiesen auch, dass es immer eine „Grenze“ gibt, wie viel man ändern muss, um ein anderes Ergebnis zu erzielen; man wird nicht gebeten, das Unmögliche zu tun.

3. Die Lösung: ASR-ICL (Das smarte Suchlicht)

Da die KI eine „Black Box“ ist (wir können nicht in ihr Gehirn schauen, um zu sehen, wie sie Dinge berechnet), können wir keine Standard-Mathematiktricks verwenden, um die Antwort zu finden. Wir müssen raten und prüfen, was langsam und teuer ist.

Die Autoren entwickelten ein neues Werkzeug namens ASR-ICL.

Die Analogie: Stellen Sie sich vor, Sie suchen einen bestimmten Schlüssel in einem riesigen, dunklen Raum voller von 1.000 Schubladen.
- Alte Methode: Sie öffnen jede einzelne Schublade nacheinander. Das dauert ewig und verbraucht viel Energie (Abfragen).
- ASR-ICL Methode: Dieses Werkzeug ist wie ein smartes Suchlicht. Anstatt jeden Schubladen einzeln zu prüfen, scannt es den Raum schnell und stellt fest: „Hey, der Schlüssel liegt wahrscheinlich in genau diesen 5 Schubladen.“ Dann konzentriert es all seine Energie auf diese 5 Schubladen und ignoriert die anderen 995.
Warum es funktioniert: Im echten Leben müssen Sie meistens nur wenige Dinge ändern (wie Ihr Einkommen oder Ihre Schulden), um eine Kreditgenehmigung zu erhalten, nicht alles. ASR-ICL findet automatisch heraus, welche wenigen Merkmale am wichtigsten sind, und ignoriert den Rest. Das macht es schnell, günstig und effizient.

4. Die Ergebnisse: Es funktioniert in der realen Welt

Das Team hat dies an realen Daten (wie Kreditwürdigkeit, kriminelle Risikobewertungen und medizinische Daten) unter Verwendung verschiedener KI-Modelle getestet.

Erfolg: Ihr Werkzeug fand gültige Lösungen (Wege, um ein „Ja“ zu erhalten) genauso oft wie die alten Methoden, tat dies jedoch durch weniger Abfragen (Queries) der KI.
Effizienz: Da es sich auf eine kleine Teilmenge von Merkmalen konzentrierte, waren die vorgeschlagenen Änderungen oft einfacher und realistischer (z. B. „Schulden um 500 $ senken“ statt „Job wechseln, Stadt wechseln und ein neues Auto kaufen“).
Multi-Class: Es funktionierte sogar, wenn es mehr als zwei Ergebnisse gab (wie eine „Gute“, „Faire“ oder „Schlechte“ Kreditwürdigkeit), nicht nur „Ja“ oder „Nein“.

Zusammenfassung

Die Arbeit besagt: „Haben Sie keine Angst vor den neuen, sich ändernden KI-Modellen. Wir haben bewiesen, dass ihre Ratschläge stabil sind, wenn Sie ihnen genügend Beispiele geben. Darüber hinaus haben wir ein smartes Werkzeug (ASR-ICL) entwickelt, das wie ein Suchscheinwerfer wirkt und die wenigen, einfachen Änderungen findet, die Sie vornehmen müssen, um ein besseres Ergebnis zu erzielen, ohne Zeit mit dem Prüfen jeder einzelnen Möglichkeit zu verschwenden.“

Kernaussage: Selbst wenn sich die Regeln der KI basierend auf dem, was sie gerade betrachtet, ändern, können wir Menschen weiterhin klare, umsetzbare und effiziente Ratschläge geben, wie sie ihre Situation verbessern können.

Technisches Resümee: Algorithmische Rekurs für In-Context Learning bei tabellarischen Daten

Problemdefinition

Die Arbeit adressiert die Lücke zwischen dem aufkommenden Paradigma des In-Context Learnings (ICL) für tabellarische Daten und dem etablierten Feld der algorithmischen Rekurs (Algorithmic Recourse). Während prädiktive Modelle zunehmend in Hochrisikodomänen (z. B. Kreditvergabe, Strafjustiz) eingesetzt werden, in denen Individuen eine handlungsleitende Anleitung benötigen, um ungünstige Entscheidungen rückgängig zu machen, setzen bestehende Rekursmethoden eine feste, trainierte Entscheidungsfunktion voraus.

Im Gegensatz dazu induzieren ICL-Modelle (wie TabPFN, TabICL und allgemeine Large Language Models) Vorhersagen dynamisch basierend auf einer Menge gelabelter Beispiele, die zum Zeitpunkt der Inferenz bereitgestellt werden. Dies führt zu einem kontext-konditionierten Prädiktor ( $f_C$ ), bei dem die Entscheidungsregel je nach dem spezifischen Kontext-Set $C$ variiert. Diese dynamische Natur stellt die Kernannahmen der klassischen Rekurs vor grundlegende Fragen:

Ist Rekurs wohldefiniert und beschränkt, wenn die Entscheidungsregel nicht fixiert ist?
Ist die Rekurs über verschiedene Kontext-Zusammensetzungen hinweg stabil?
Kann Rekurs effizient für Black-Box-ICL-Modelle berechnet werden, ohne Zugriff auf Gradienten zu haben?

Methodik

1. Theoretische Analyse

Die Autoren formalisieren die algorithmische Rekurs innerhalb des ICL-Frameworks unter Verwendung einer linearen Regressionsaufgabe, die durch ein Single-Layer Linear Self-Attention (LSA) Modell induziert wird.

Machbarkeitsgarantien: Sie stellen Bedingungen her, unter denen Rekurs garantiert ist. Konkret: Wenn alle Merkmale unbeschränkt sind, ist Rekurs für alle Individuen garantiert, sofern mindestens ein Merkmal handlungsfähig (actionable) ist. Falls Merkmale hingegen beschränkt und unveränderlich (immutable) sind, kann Rekurs für einige Individuen verweigert werden, ähnlich wie bei klassischen linearen Klassifikatoren.
Konvergenz und Schranken: Die Arbeit leitet eine geschlossene Form für die optimale Rekurs-Perturbation ( $\delta^*_{ICL}$ $δ_{I C L}^{*}$ ) ab und beweist eine Hochwahrscheinlichkeit-Obere-Schranke für die Rekurskosten.
- Zentrale Erkenntnis: Mit zunehmender Anzahl an Kontextbeispielen ( $M$ ) und Prätraining-Demonstrationen ( $N$ ) konvergiert die ICL-basierte Rekurs gegen die optimale Rekurs des zugrunde liegenden linearen Modells. Die Perturbationsschranke wird enger, wenn $M$ und $N$ wachsen, wobei der Fehlerterm von $O(1/N)$ und $O(\sqrt{\ln(d)/M})$ abhängt.
- Implikation: Dies deutet darauf hin, dass ICL-Modelle mit ausreichendem Kontext zunehmend wie klassische lineare Modelle agieren und die Rekurs-Lösung stabilisieren.

2. Vorgeschlagener Algorithmus: ASR-ICL

Um die praktischen Herausforderungen von Black-Box-, hochdimensionalen tabellarischen Daten zu bewältigen, bei denen keine Gradienten verfügbar sind, schlagen die Autoren Adaptive Subspace Recourse for In-Context Learning (ASR-ICL) vor.

Zeroth-Order-Optimierung: ASR-ICL behandelt die Generierung von Rekurs als ein beschränktes Black-Box-Optimierungsproblem. Es stützt sich ausschließlich auf Funktionsauswertungen (Abfragen des LLM) statt auf Gradienten.
Adaptive Subraum-Selektion: Um den Fluch der Dimensionalität zu mildern und den Abfrage-Budget zu reduzieren, optimiert der Algorithmus nicht über alle $d$ $d$ Merkmale gleichzeitig. Stattdessen:
1. Er führt einen Wichtigkeits-Score (Importance Score) für jedes Merkmal.
2. Er zieht eine kleine Teilmenge von Merkmalen (Subraumgröße $k \ll d$ ) basierend auf diesen Scores.
3. Er optimiert die Rekurs innerhalb dieses niedrigdimensionalen Subraums unter Verwendung eines Zeroth-Order-Solvers (RACOS).
4. Er aktualisiert die Merkmals-Wichtigkeits-Scores basierend auf dem Erfolg der Optimierung im Stichproben-Subraum und fokussiert die Suche so schrittweise auf einflussreiche Merkmale.
Constraints: Das Framework erzwingt Machbarkeitsbeschränkungen (z. B. Unveränderlichkeit des Alters, Monotonie des Einkommens) über einen Projektionsoperator $\Pi_\Omega$ auf die Kandidatenlösungen.
Multi-Class-Unterstützung: Die Methode lässt sich natürlich auf Multi-Class-Tabellenaufgaben ohne aufgabenspezifische Modifikationen erweitern, indem sie auf eine gewünschte Zielklasse optimiert.

Zentrale Ergebnisse

Experimenteller Aufbau

Die Autoren evaluierten ASR-ICL auf fünf realen Datensätzen (Australian Credit, COMPAS, Diabetes, Corporate Rating, Student Performance), die Binär- und Multi-Class-Aufgaben abdecken. Sie testeten es gegen spezialisierte tabellarische ICL-Modelle (TabPFN-2.5, TabICL) sowie allgemeine LLMs (Qwen3, LLaMA-3, GPT-4o). Als Baselines dienten DiCE, Actionable Recourse (AR) und FACE, implementiert auf trainierten Modellen zum Vergleich.

Leistungsbefunde

Validität und Kosten: ASR-ICL erreicht eine Rekurs-Validität, die mit bestehenden Methoden für trainierte Modelle vergleichbar ist (oft 100 % Validität), während es signifikant niedrigere Rekurskosten beibehält. Beispielsweise erreichte ASR-ICL beim Australian Credit Datensatz eine perfekte Validität mit durchschnittlichen Kosten von 3,83, verglichen mit 8,96 bei DiCE.
Abfrage-Effizienz: ASR-ICL ist hochgradig abfrageeffizient. Es erreicht eine vergleichbare Validität wie Full-Space Zeroth-Order-Baselines, reduziert dabei aber das durchschnittliche Abfrage-Budget um das 2- bis 3-Fache.
Theoretische Validierung: Experimente bestätigten das theoretische Konvergenzverhalten. Mit zunehmender Anzahl an In-Context-Instanzen (von 4 auf 64 Shots) stabilisierte sich die Rekurs-Validität und die Kosten sanken, wodurch sie sich der Performance von linearen Referenzmodellen annäherten.
Robustheit: Die Methode zeigte Robustheit gegenüber Variationen in der Kontext-Verteilung und -Reihenfolge, wenngleich eine gewisse Sensitivität bei allgemeinen LLMs unter spezifischen Prompt-Orderings beobachtet wurde.
Sparsity (Dünnbesetztheit): ASR-ICL erzeugt naturgemäß spärliche (sparse) Rekurs-Lösungen. Fallstudien zeigten, dass es Vorhersagen durch Modifikation von nur 2 handlungsfähigen Merkmalen umkehren konnte, während andere Methoden oft die Änderung von 5 oder mehr Merkmalen erforderten.

Bedeutung und Ansprüche

Das Paper beansprucht, die erste systematische Untersuchung der algorithmischen Rekurs unter In-Context Learning für tabellarische Daten zu präsentieren. Seine Bedeutung liegt in:

Theoretisches Fundament: Die Feststellung, dass Rekurs unter dynamischen, kontext-konditionierten Prädiktoren weiterhin wohldefiniert und beschränkt bleibt, sowie der Beweis, dass ICL-basierte Rekurs mit zunehmender Kontextgröße gegen klassische Lösungen konvergiert.
Praktisches Framework: Die Einführung von ASR-ICL, dem ersten Rekurs-Framework, das speziell für Black-Box-ICL-Modelle entwickelt wurde. Es schließt die Lücke zwischen klassischen Rekursmethoden (für feste Modelle) und den aufkommenden ICL-Paradigmen.
Effizienz und Handlungsfähigkeit: Der Nachweis, dass adaptive Zeroth-Order-Optimierung spärliche, handlungsfähige und kostengünstige Rekurs in hochdimensionalen Räumen generieren kann, ohne interne Modellstrukturen oder Gradienten zu benötigen.

Die Autoren bewahren einen bescheidenen Tonfall und merken an, dass, obwohl ihre Ergebnisse die Machbarkeit und Konvergenz von Rekurs in ICL-Settings validieren, die Leistung allgemeiner LLMs je nach Prompt-Sensitivität und Aufgabenkomplexität (insbesondere in Multi-Class-Szenarien) variieren kann. Sie behaupten nicht, alle Herausforderungen von ICL gelöst zu haben, sondern betrachten ihre Arbeit als einen grundlegenden Schritt, um diese dynamischen Modelle rechenschaftspflichtig und handlungsfähig zu machen.