🤖 AI

Cross-Layer Misalignment Detection in Agent Skills: A Progressive Loading-Aware Contrastive Learning Approach

Dieses Paper führt Progressive Loading-Aware Hierarchical Contrastive Learning (PL-HCL) ein, ein LLM-basiertes Framework, das effektiv die Cross-Layer-Fehlausrichtung zwischen den Beschreibungen und den tatsächlichen Verhaltensweisen von Agent Skills erkennt und dadurch eine signifikante Steigerung der Macro-F1-Scores von 0,45 auf 0,87–0,89 auf einem groß angelegten Datensatz von Open-Source-Skills erzielt.

Ursprüngliche Autoren: Chengjun Zhang, Yang Gao, Jianna Hur, Jingjing Zhang, Sagar Samtani

Veröffentlicht 2026-07-14

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Chengjun Zhang, Yang Gao, Jianna Hur, Jingjing Zhang, Sagar Samtani

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie stöbern auf einem digitalen Marktplatz für „Agenten-Skills“. Das sind wie kleine, wiederverwendbare Roboter-Helfer, die Sie herunterladen können, um Ihre KI intelligenter zu machen. Sie sehen einen Skill mit dem Namen „Super Safe Productivity Assistant“. Die Beschreibung klingt perfekt, oder? Aber was wäre, wenn tief im Code verborgen derselbe Skill eigentlich ein hinterlistiger Spion ist, der versucht, Ihre Passwörter zu stehlen, oder ein chaotischer Roboter, der all Ihre Regeln ignoriert?

Dies ist das Problem der Cross-Layer-Fehlausrichtung (Cross-Layer Misalignment). Es ist, als würde man ein Spielzeug kaufen, auf dessen Verpackung steht „Baut Schlösser“, aber wenn man es öffnet, steht in der Anleitung „Zerstöre das Haus“ und die Steine bestehen tatsächlich aus Lava.

Die neue Superkraft des Detektivs

Forscher der Indiana University Bloomington haben erkannt, dass aktuelle KI-Modelle schrecklich darin sind, diese „Verpackung vs. Inhalt“-Diskrepanzen zu erkennen, bevor man den Skill tatsächlich ausführt. Sie versuchten herauszufinden, ob Standard-KI-Modelle (die „Basis-Modelle“) einfach die Beschreibung lesen und erraten könnten, ob sie lügen. Das Ergebnis? Nicht annähend. Selbst die klügsten, auf Cybersicherheit trainierten Modelle tippten meistens auf „Es ist sicher“, nur weil die meisten Skills tatsächlich sicher sind, und versäumten es, die Lügner zu entlarven. Sie erreichten etwa 4al 45 % Genauigkeit bei den kniffligen Fällen, was im Grunde einem Münzwurf entspricht.

Deshalb entwickelten sie eine neue Trainingsmethode namens PL-HCL (Progressive Loading-Aware Hierarchical Contrastive Learning). Stellen Sie sich das als ein „Wahrheits-Trainingslager“ für die KI vor.

Wie das Trainingslager funktioniert

Anstatt das gesamte Paket auf einmal zu betrachten, lernt die KI in zwei Stufen, ähnlich wie ein Mensch, der einen Skill inspiziert:

Stufe 1: Die „Teaser“-Ansicht. Die KI betrachtet zuerst die „Verpackung“ (Metadaten und Beschreibung) und das „Bedienungshandbuch“ (prozedurale Schritte). Sie lernt die Sprache und das Format dieser Skills kennen.
Stufe 2: Die „Vollständige Enthüllung“-Ansicht. Dann bekommt die KI die „tatsächlichen Steine“ zu sehen (den Code, die Skripte und die Ressourcen).

Die Magie geschieht im eigentlichen Training. Die Forscher zeigten der KI nicht einfach nur echte Skills. Sie kreierten ein Spiel namens „Finde den Fake“.

Das Original: Sie zeigten der KI einen Skill, bei dem die Beschreibung mit dem Code übereinstimmte.
Der Tausch: Sie nahmen die Beschreibung eines „Sicheren Assistenten“ und klebten sie auf den Code eines „Virus“.
Die Lüge: Sie nahmen eine „Sichere Assistent“-Beschreibung und veränderten sie so, dass sie leicht übertrieben oder falsch klang, während der Code gleich blieb.

Die KI musste lernen, dass das „Original“ eine Übereinstimmung ist, aber der „Tausch“ und die „Lüge“ Unstimmigkeiten darstellen. Sie lernte, den Anspruch an der Oberfläche mit den Beweisen in den tieferen Schichten zu vergleichen.

Die Ergebnisse: Vom Münzwurf zum Detektiv

Als sie diese neue Methode an einem „Challenge-Set“ von über 1.400 realen Skills (einschließlich 294, die tatsächlich fehlausgerichtet waren) testeten, gab es einen massiven Sprung.

Vor dem Training: Die besten Basis-Modelle konnten nur etwa 14 % der fehlausgerichteten Skills korrekt identifizieren (eine Metrik namens F1). Sie ignorierten die Lügner weitgehend.
Nach dem PL-HCL-Training: Die Fähigkeit des Modells, die Lügner zu entlarven, schoss auf 78 % bis 81 % hoch (je nach verwendetem KI-Modell). Der gesamte „Score“ für die Balance zwischen Sicherheit und Genauigkeit stieg von etwa 0,52 auf 0,87–0,89.

Die Arbeit zeigt, dass es nicht ausreichte, der KI lediglich beizubringen, das Format dieser Skills zu verstehen (Stufe 1); sie konnte die Lügen immer noch nicht erkennen. Sie benötigte das spezifische „Finde den Fake“-Training (Stufe 2), um die Diskrepanz wirklich zu begreifen.

Was dies bedeutet (und was es nicht tut)

Die Autoren legen nahe, dass dies ein leistungsstarkes neues Werkzeug für das Pre-Execution-Screening (Überprüfung vor der Ausführung) ist. Stellen Sie sich ein Plugin für Ihren Computer vor, das einen Skill scannt, bevor Sie ihn herunterladen, und prüft, ob die „Verpackung“ zum „Inhalt“ passt. Wenn sie nicht übereinstimmen, warnt es Sie: „Hey, diese Beschreibung sagt ‚TypeScript-Helper‘, aber der Code versucht tatsächlich, ein Rezept von einer zufälligen Website herunterzuladen!“

Die Arbeit stellt jedoch sehr klar, was dies nicht leistet:

Sie führt den Code nicht aus. Sie kann nicht sehen, ob ein Skill Ihren Computer während der Ausführung beschädigt. Sie betrachtet nur die Dateien und Texte, die vor dem Drücken von „Ausführen“ verfügbar sind.
Sie löst nicht jedes Sicherheitsproblem. Sie zielt spezifisch auf die Diskrepanz zwischen dem, was versprochen wird, und dem, was geliefert wird.
Die Ergebnisse basieren auf einem spezifischen Datensatz von Open-Source-Skills von der Plattform SkillsMP und GitHub. Die Autoren merken an, dass wir noch nicht wissen, ob dies bei geschlossenen, privaten oder Enterprise-Skills exakt genauso funktioniert.

Kurz gesagt deutet die Arbeit darauf an, dass wir, indem wir die KI lehren, ein strenges Spiel des „Abgleichs von Ansprüchen mit Beweisen“ zu spielen, einen viel besseren Filter für die digitalen Werkzeuge der Zukunft bauen können, der die Lügner entlarvt, bevor sie überhaupt eine Chance zur Ausführung bekommen.

Technisches Resümee: Erkennung von Cross-Layer-Fehlausrichtung in Agenten-Skills

Problemdefinition

Da sich Large Language Model (LLM)-Agenten zu agentischen KI-Systemen entwickeln, verlassen sie sich zunehmend auf Agenten-Skills – wiederverwendbare Artefakte, die natürsprachliche Metadaten, prozedurale Anweisungen und Ressourcen zur Laufzeit enthalten. Eine kritische Schwachstelle entsteht durch die hierarchische Natur dieser Skills: Nutzer und Agenten wählen Skills oft basierend auf oberflächlichen Metadaten (Beschreibungen, Tags, Namen) aus, bevor die zugrunde liegenden Anweisungen und Ressourcen vollständig geladen oder ausgeführt wurden.

Das Paper identifiziert Cross-Layer-Fehlausrichtung (Cross-Layer Misalignment) als die Diskrepanz zwischen den benutzerseitigen Behauptungen eines Skills (Metadaten) und seinem tatsächlichen Verhalten (Anweisungen und Ressourcen). Diese Fehlausrichtung manifestiert sich in zwei Formen:

Bösartige Fehlausrichtung (Malicious Misalignment): Metadaten maskieren schädliche Verhaltensweisen (z. B. Prompt Injection, Credential Leakage, unsichere Befehlsausführung), die in tieferen Schichten vorhanden sind.
Gutartige Fehlausrichtung (Benign Misalignment): Metadaten übertreiben oder beschreiben ungenau Fähigkeiten, die das zugrunde liegende Paket tatsächlich nicht unterstützt.

Aktuelle Evaluierungsparadigmen konzentrieren sich auf die Laufzeitleistung (Aufgabenerfolg, Tool-Kompetenz) oder spezifische Sicherheitslücken innerhalb isolierter Artefakte. Sie versäumen es jedoch, die Konsistenz zwischen den Schichten vor der Ausführung zu bewerten, wodurch eine Lücke entsteht, in der Vertrauensentscheidungen auf Basis unvollständiger Informationen getroffen werden.

Methodik: PL-HCL Framework

Um dies zu adressieren, schlagen die Autoren Progressive Loading-Aware Hierarchical Contrastive Learning (PL-HCL) vor. Das Framework behandelt Agenten-Skills als geschichtete Artefakte ( $S = (M, I, R)$ ) und trainiert Modelle darauf zu verifizieren, ob die Metadaten ( $M$ ) durch die Anweisungen ( $I$ ) und Ressourcen ( $R$ ) untermauert werden.

1. Datensatzkonstruktion

Korpus: Ein normalisierter Korpus von 264.937 Open-Source Agenten-Skills aus SkillsMP, verknüpft mit GitHub-Repositories. Jeder Skill ist in drei Schichten strukturiert: Metadaten, Anweisungen und Ressourcen.
Challenge-Set: Ein menschlich verifiziertes, gehaltenes Evaluierungsset von 1.444 Skills (1.150 ausgerichtet, 294 fehlausgerichtet). Entscheidend ist, dass die fehlausgerichteten Beispiele natürlich vorkommende „In-the-wild“-Fälle sind und nicht synthetisch generiert wurden, um die Generalisierung zu testen.

2. Zweistufiges Continued Pretraining (CPT)

Bevor das kontrastive Lernen stattfindet, durchläuft das Basis-LLM eine kurrikular inspirierte Anpassung an das Skill-Format:

Stufe 1 (Short View): Trainiert auf Metadaten + Anweisungen ( $M, I$ ), was die initiale Inspektionsphase simuliert.
Stufe 2 (Full View): Trainiert auf Metadaten + Anweisungen + Ressourcen ( $M, I, R$ ), wodurch das Modell dem vollständigen Paketkontext ausgesetzt wird.
Ziel: Das Modell an das Vokabular, das Format und die hierarchische Struktur von Agenten-Skills anzupassen, anstatt sofort die Konsistenz erzwingen zu lassen.

3. Progressive Loading-Aware Hierarchical Contrastive Learning (PL-HCL)

Diese Komponente lernt explizit die Cross-Layer-Konsistenz durch das Kontrastieren von Ansichten:

Positive Sicht ( $P_i$ ): Ausgerichtete Schichten desselben Skills: $(M_i, I_i, R_i)$ .
Negative Sichtweisen:
- Swap Negative ( $N^A_i$ ): Metadaten eines anderen Skills, gepaart mit den ursprünglichen Anweisungen/Ressourcen: $(M_j, I_i, R_i)$ wobei $j \neq i$ .
- Corruption Negative ( $N^B_i$ ): Perturbierte/irreführende Metadaten, gepaart mit den ursprünglichen Schichten: $(\tilde{M}_i, I_i, R_i)$ .
Zielsetzung: Das Modell lernt, die ausgerichtete Sicht höher zu bewerten als die gemischten Varianten, wodurch effektiv ein „Behauptung-gegen-Evidenz“-Signal gelernt wird. Dieses Training erfolgt in zwei Teilstadien, die den in der CPT verwendeten Short- und Full-Views entsprechen.

Kernbeiträge

Problemformalisierung: Definierte Cross-Layer-Fehlausrichtung als ein Evaluierungsproblem auf Artefakt-Ebene vor der Ausführung, im Gegensatz zur Standard-Sicherheits- oder Aufgabenleistungsbewertung zur Laufzeit.
Datensatz: Konstruierte einen groß angelegten Open-Source Agenten-Skill-Korpus und ein menschlich verifiziertes Challenge-Set speziell für die Bewertung von Ausrichtung und Fehlausrichtung.
Framework: Führte PL-HCL ein, ein kontrastives Pretraining-Framework, das Cross-Layer-Konsistenz lernt.
Empirische Erkenntnisse: Demonstrierte, dass die Anpassung an das Skill-Format (CPT) zwar notwendig, aber nicht ausreichend für die Detektion ist; explizites kontrastives Lernen ist erforderlich, um Fehlausrichtungen zu identifizieren.

Experimentelle Ergebnisse

Das Framework wurde auf dem Challenge-Set unter Verwendung allgemeiner (z. B. Llama-3.1-8B) und auf Cybersicherheit spezialisierter (z. B. Foundation-Sec-8B) Backbones in Zero-Shot-, Two-Shot- und Five-Shot-Settings evaluiert.

Basis-LLMs (E0): Unangepasste Modelle schnitten bei der Klasse „fehlausgerichtet“ schlecht ab, mit Macro-F1-Scores um 0,45–0,52 und einem $F1_m$ unter 0,15. Sie zeigten einen starken Bias zur Klassifizierung plausibler Pakete als „ausgerichtet“.
Nur Continued Pretraining (E1): Zweistufiges CPT verbesserte die Anpassung an das Skill-Format, lieferte aber nur begrenzte Gewinne bei der Erkennung von Fehlausrichtungen. Die Macro-F1 blieb nahe bei 0,48–0,52, und $F1_m$ blieb unter 0,15. Dies zeigt, dass Vertrautheit mit dem Format nicht mit der Fähigkeit zur Erkennung von Inkonsistenzen gleichzusetzen ist.
PL-HCL (E2): Das vollständige Framework verbesserte die Leistung signifikant.
- Auf Foundation-Sec-8B stieg die Macro-F1 von ~0,52 (nur CPT) auf 0,889, und $F1_m$ sprang von 0,150 auf 0,817 (Two-Shot-Setting).
- Auf Llama-3.1-8B erreichte die Macro-F1 0,872 und $F1_m$ erreichte 0,788.
Generalisierung: Trotz des Trainings auf synthetischen Negativ-Paaren (getauschte/korrumpierte Metadaten) generalisierte PL-HCL erfolgreich auf natürlich vorkommende, „In-the-wild“-fehlausgerichtete Skills im Challenge-Set.

Signifikanz und Ansprüche

Das Paper behauptet, dass PL-HCL ein skalierbares Screening-Tool vor der Ausführung für das agentische KI-Ökosystem bietet. Seine Signifikanz liegt in drei Bereichen:

Verschiebung des Evaluierungsparadigmas: Es verlagert den Fokus von „Funktioniert das Tool?“ (Laufzeit) zu „Ist das Tool ehrlich darüber, was es ist?“ (Konsistenz vor der Ausführung).
Nutzen für Stakeholder:
- Marktplätze: Können PL-HCL als Governance-Mechanismus nutzen, um hochriskante Skills für eine manuelle Überprüfung zu kennzeichnen oder Verifizierungsabzeichen vor der Listung zu vergeben.
- Nutzer: Ermöglicht leichtgewichtiges Client-seitiges Screening, um Nutzer zu warnen, wenn die Beschreibung eines Skills im Widerspruch zu dessen Code oder Ressourcen steht.
- Analysten: Bietet eine Methode, große Sammlungen von Skills zu triagieren, indem Cluster von Metadaten-Verhaltens-Inkonsistenzen identifiziert werden.
Designprinzip: Die Autoren argumentieren, dass für jedes progressiv geladene, hierarchische digitale Artefakt (z. B. Browser-Extensions, MCP-Server) Vertrauensentscheidungen vor der vollständigen Ausführung Modelle erfordern, die explizit die Konsistenz zwischen Oberflächenbehauptungen und tieferliegender Evidenz lernen, anstatt sich nur auf generisches Sprachmodellieren oder schlüsselwortbasierte Scans zu verlassen.

Die Autoren bleiben bescheiden hinsichtlich der Limitationen und merken an, dass der Ansatz auf statische Paket-Artefakte angewiesen ist und keine dynamischen Laufzeitverhalten, Seiteneffekte oder Mutationen erkennen kann, die erst während der Live-Ausführung auftreten. Sie schlagen vor, dass PL-HCL als ergänzende Ebene zu Runtime-Sandboxing und Trajektorien-Evaluierung betrachtet werden sollte.