FeatEHR-LLM: Leveraging Large Language Models for Feature Engineering in Electronic Health Records

Technische Zusammenfassung: FeatEHR-LLM

1. Problemstellung

Die Analyse von elektronischen Gesundheitsakten (EHR) stellt das maschinelle Lernen vor erhebliche Herausforderungen. Klinische Zeitreihen (z. B. Vitalparameter, Laborwerte) sind durch drei Hauptmerkmale charakterisiert:

• Irreguläre Abtastraten: Messungen erfolgen nicht in festen Intervallen, sondern ereignisgesteuert.
• Strukturelle Sparsität: Fehlende Werte sind oft nicht zufällig (Missing at Random), sondern "informativ" – ein Wert fehlt, weil klinisch kein Grund für eine Messung bestand.
• Komplexität der Merkmalsentwicklung (Feature Engineering): Während Deep-Learning-Modelle Sequenzen end-to-end verarbeiten können, sind sie oft "Black Boxes". Für die klinische Praxis sind jedoch interpretierbare, explizite Merkmale (z. B. für Entscheidungsbäume wie LightGBM) entscheidend, um klinische Entscheidungen nachvollziehbar zu machen. Bestehende automatisierte Methoden scheitern oft an der mangelnden klinischen Kontextsensitivität oder an der Annahme regelmäßiger Daten.

2. Methodik (FeatEHR-LLM Framework)

Das Team schlägt ein Framework vor, das die Domänenkenntnisse von Large Language Models (LLMs) nutzt, um klinisch motivierte tabellarische Merkmale aus unregelmäßigen Zeitreihen zu generieren. Ein zentraler Aspekt ist der Datenschutz: Das LLM erhält niemals Zugriff auf Rohdaten der Patienten, sondern arbeitet ausschließlich auf Basis von Metadaten (Schemas) und Aufgabenbeschreibungen.

Das Framework arbeitet in zwei Hauptstufen:

• Univariate Merkmalsgenerierung: Das LLM erhält Metadaten zu einer einzelnen Variable (Name, Einheit, Statistiken) und generiert Python-Funktionen, die diese Variable aggregieren (z. B. die Variabilität eines Wertes).
• Multivariate Merkmalsgenerierung: Hier nutzt das Framework ein zweistufiges Verfahren. Zuerst generiert das LLM klinisch relevante Fragen (z. B. "Wie schwerwiegend ist die metabolische Dysfunktion?"), die mehrere Variablen betreffen. Anschließend schreibt das LLM den ausführbaren Code, um diese Fragen basierend auf den Zeitreihen zu beantworten.

Besonderheiten der Implementierung:

• Tool-Augmented Generation: Das LLM wird mit spezialisierten Programmierwerkzeugen ausgestattet (z. B. Funktionen zur Erkennung von Trends, Ausreißern oder Lücken in unregelmäßigen Zeitreihen), um die strukturelle Sparsität technisch zu bewältigen.
• Iterative Validierung (Validation-in-the-loop): Ein Pipeline-Prozess prüft den generierten Code auf Syntaxfehler und Laufzeitfehler. Durch iterative Runden kann das Modell seine Vorschläge verfeinern.
• Feature-to-Code Translation: Die generierten Funktionen werden in einen festen Merkmalsvektor umgewandelt, der nahtlos in Standard-ML-Pipelines (wie LightGBM) integriert werden kann.

3. Key Contributions (Hauptbeiträge)

1. LLM-gestützte Feature-Generierung für Zeitreihen: Überwindung der Beschränkung aktueller LLM-Methoden, die primär auf statischen Tabellendaten basieren.
2. Umgang mit Unregelmäßigkeit: Durch die Bereitstellung spezialisierter Tools kann das Modell explizit mit ungleichmäßigen Messintervallen und informativer Sparsität umgehen.
3. Privacy-Preserving Design: Die Trennung von Metadaten (für das LLM) und Patientendaten (für die Code-Ausführung) schützt die Privatsphäre.
4. Hybrides Modell: Kombination aus der semantischen Intelligenz von LLMs und der Effizienz/Interpretierbarkeit von Gradient Boosted Decision Trees (GBDTs).

4. Ergebnisse

Das Framework wurde auf acht klinischen Vorhersageaufgaben über vier große ICU-Datensätze (PhysioNet 2012, PhysioNet 2019, MIMIC-III und eICU) evaluiert.

• Überlegenheit: FeatEHR-LLM erreichte in 7 von 8 Aufgaben die höchste mittlere AUROC (Area Under the Receiver Operating Characteristic Curve).
• Leistungssteigerung: Es wurden Verbesserungen von bis zu 6 Prozentpunkten gegenüber starken Baselines (wie tsfresh oder OpenFE) erzielt.
• Robustheit: Die Methode zeigt eine hohe Generalisierbarkeit über verschiedene Datensatzgrößen hinweg (auch bei geringer Datenverfügbarkeit) und ist unabhängig vom verwendeten LLM (z. B. Gemini oder GPT-4o-mini) sowie vom Downstream-Modell (XGBoost, CatBoost).
• Effizienz: Im Vergleich zu Zero-Shot-Ansätzen (bei denen das LLM direkt die Risikobewertung pro Patient durchführt) ist FeatEHR-LLM wesentlich effizienter, da die Kosten für das LLM nur bei der Merkmalserstellung und nicht bei jeder einzelnen Patienten-Inferenz anfallen.

5. Signifikanz

Die Arbeit schließt eine kritische Lücke zwischen der Leistungsfähigkeit moderner Sprachmodelle und den strengen Anforderungen der medizinischen Informatik. Durch die Erzeugung von interpretierbarem Code anstelle von abstrakten "Latent Embeddings" bietet FeatEHR-LLM eine Brücke zur klinischen Akzeptanz. Es ermöglicht die Nutzung von Expertenwissen (implizit im LLM gespeichert) zur Automatisierung eines bisher mühsamen und teuren Prozesses (manuelles Feature Engineering), während gleichzeitig die strengen Datenschutzrichtlinien im Gesundheitswesen gewahrt bleiben.