Picking the Right Specialist: Attentive Neural Process-based Selection of Task-Specialized Models as Tools for Agentic Healthcare Systems

1. Problemstellung

In agentic Healthcare-Systemen (autonomen KI-Agenten im Gesundheitswesen) werden zunehmend spezialisierte Modelle als externe Werkzeuge eingesetzt, um klinische Anfragen zu beantworten (z. B. Krankheitsdiagnose, Befunderstellung, Bildlokalisierung). Ein zentrales Problem ist jedoch, dass es für eine gegebene Aufgabe selten ein einziges „bestes" Modell gibt. Stattdessen existiert eine Heterogenität von Spezialmodellen, die je nach Datentyp, Domäne (z. B. unterschiedliche Scanner oder Krankenhäuser) und Label-Definition variierende Stärken aufweisen.

• Herausforderung: Ein Agent muss für jede spezifische Anfrage (Query) zuverlässig das am besten geeignete Modell aus einem Pool von Kandidaten auswählen.
• Fehlerquellen: Naive Ansätze (z. B. die Nutzung eines festen Modells pro Aufgabe) scheitern oft an Domänenverschiebungen (Domain Shifts) und Inkonsistenzen in den Label-Räumen. Auch zufällige Auswahl oder einfache Heuristiken führen zu suboptimalen Ergebnissen, da sie die spezifischen Eigenschaften der Eingabe und das Verhalten der Modelle nicht berücksichtigen.

2. Methodik: ToolSelect

Die Autoren stellen ToolSelect vor, einen lernbasierten Selektionsrahmen, der die Auswahl des richtigen Spezialmodells adaptiv steuert.

• Grundprinzip: Das System minimiert das Populationsrisiko über eine Stichprobe von Kandidaten-Modellen. Es nutzt einen konsistenten Surrogat-Verlust für die bedingte Auswahl, da die direkte Minimierung des Auswahlfehlers kombinatorisch und nicht differenzierbar ist.
• Architektur (Attentive Neural Process - ANP):
  • Der Selektor basiert auf einem Attentive Neural Process (ANP).
  • Eingaben: Der Selektor erhält die multimodale Anfrage (Bild + Text) und für jedes Kandidatenmodell eine kompakte Verhaltenszusammenfassung (Behavioral Summary).
  • Verhaltenszusammenfassung: Jedes Modell wird durch einen kleinen Few-Shot-Referenzdatensatz repräsentiert, der dessen empirisches Verhalten auf der jeweiligen Aufgabe beschreibt (z. B. Vorhersagen auf Referenzbildern).
  • Mechanismus: Der ANP nutzt Cross-Attention, um die Anfrage mit den Referenzsätzen der Modelle zu verknüpfen. Dies erzeugt eine anfrageabhängige Repräsentation für jedes Modell, die betont, welche Referenzbeispiele für die aktuelle Eingabe relevant sind.
  • Auswahl: Ein leichter MLP-Kopf (Multi-Layer Perceptron) berechnet basierend auf der Anfrage, der Modell-Repräsentation und Metadaten eine Auswahlwahrscheinlichkeit. Modelle, die die aktuelle Aufgabe nicht unterstützen, werden maskiert.
• Training: Die zugrundeliegenden Spezialmodelle bleiben eingefroren (frozen). Nur der Selektor wird trainiert, um den Verlust über die gewählten Modelle zu minimieren. Es werden Regularisierungstechniken wie Panel-Entropie verwendet, um übermäßiges Selbstvertrauen in frühen Trainingsphasen zu vermeiden.

3. Schlüsselbeiträge

Das Paper leistet drei wesentliche Beiträge:

1. Konzeptueller Rahmen & Datensatz (ToolSelectBench):

   • Erstmalige Einführung eines Testbeds für die Auswahl von Werkzeugen in agentic Healthcare-Systemen.
   • Entwicklung einer agentic Chest-X-Ray-Umgebung mit einem Pool von 55 spezialisierten Modellen in vier Aufgabenkategorien:
     • 17 Modelle für Krankheitsdetektion.
     • 19 Modelle für Befunderstellung (Report Generation).
     • 6 Modelle für visuelle Verankerung (Visual Grounding).
     • 13 Modelle für Visuelle Fragebeantwortung (VQA).
   • Erstellung von ToolSelectBench, einem Benchmark mit 1448 Anfragen, der reale Herausforderungen wie Domänenverschiebungen und unvollständige Label-Abdeckung simuliert.

2. Technische Innovation:

   • Formalisierung der Werkzeugauswahl als Problem der Populationsrisiko-Minimierung.
   • Einführung von ToolSelect, das ANPs nutzt, um Modelle basierend auf deren Verhaltensprofilen und der aktuellen Anfrage zu routen, ohne die Modelle selbst neu zu trainieren.

3. Empirische Evaluation:

   • Umfassende Analyse der Leistungsfähigkeit der 55 Einzelmodelle, die eine hohe Variabilität und Komplementarität aufzeigen.
   • Benchmarking von ToolSelect gegen 10 State-of-the-Art (SOTA) Baselines (einschließlich LLM-Routing-Strategien, KNN, SVM, Graph-basierte Router).

4. Ergebnisse

Die Experimente auf ToolSelectBench zeigen konsistent überlegene Leistungen von ToolSelect:

• Krankheitsdiagnose: ToolSelect verbessert die F1-Scores im Vergleich zur besten einzelnen Baseline um über 30 Punkte (Open-I) und 35 Punkte (VinDr). Es schließt die Lücke zur „Oracle"-Obergrenze (die theoretisch beste Auswahl pro Fall) signifikant, während zufällige Auswahl oder einfache Heuristiken oft schlechter abschneiden als einzelne starke Modelle.
• Befunderstellung: ToolSelect erreicht die höchste klinische Korrektheit (F1-RadGraph: 24,17 %), was einen deutlichen Fortschritt gegenüber der besten einzelnen Generierung (16,33 %) und zufälliger Auswahl darstellt. Qualitative Analysen zeigen, dass ToolSelect Modelle auswählt, die klinisch relevantere Berichte generieren und Halluzinationen reduzieren.
• Visuelle Verankerung & VQA: Auch hier schließt ToolSelect die Lücke zur Oracle-Leistung effektiv. Besonders bei VQA steigt die Genauigkeit von 63,22 % (bester Einzelmodell) auf 72,01 % durch ToolSelect, was die Notwendigkeit einer anfragebasierten Auswahl unterstreicht.
• Vergleich mit Baselines: Herkömmliche Router (wie KNN, SVM oder einfache LLM-Routing-Strategien) scheitern oft daran, die richtige Wahl pro Fall zu treffen, und liegen teilweise sogar unter der Leistung eines einzelnen starken Modells. ToolSelect übertrifft alle Baselines in allen vier Aufgabenfamilien.

5. Bedeutung und Ausblick

Die Arbeit demonstriert, dass die Leistungsfähigkeit agenter Systeme im Gesundheitswesen nicht nur von der Qualität einzelner Modelle abhängt, sondern entscheidend von der Fähigkeit, das richtige Werkzeug zur richtigen Zeit auszuwählen.

• Praktische Relevanz: Der Ansatz ermöglicht es, heterogene Modellpools (verschiedene Architekturen, Trainingsdaten, Domänen) effizient zu orchestrieren, ohne jedes Mal alle Modelle ausführen zu müssen (Effizienzsteigerung).
• Robustheit: Durch die adaptive Auswahl werden Domänenverschiebungen und Label-Inkonsistenzen besser bewältigt als bei statischen Systemen.
• Zukunft: ToolSelect legt den Grundstein für skalierbare, zuverlässige und transparente KI-Assistenten in der klinischen Praxis, die menschliche Expertise unterstützen, indem sie spezialisierte Modelle intelligent kombinieren.

Zusammenfassend beweist das Paper, dass ein lernbasierter, auf Aufmerksamkeit basierender Selektor (ANP) essenziell ist, um das volle Potenzial von spezialisierten Werkzeugen in agentic Healthcare-Systemen auszuschöpfen.