SkillCom: Decomposing LLM-based Semantic Communication into Task and Channel Aware Skills

Technische Zusammenfassung: SkillCom: Zerlegung LLM-basierter semantischer Kommunikation in aufgaben- und kanalbewusste Fähigkeiten

Problemstellung
Während Large Language Models (LLMs) als leistungsfähige semantische Encoder und Decoder hervorgetreten sind, bleiben aktuelle LLM-basierte semantische Kommunikationssysteme weitgehend monolithisch. In diesen Systemen führt ein einzelnes promptiertes Modell oder ein eng gekoppeltes Sender/Empfänger-Paar gemeinsam semantische Abstraktion, Kanaladaptation und semantische Dekodierung ohne explizite Stufentrennung durch. Diese Architektur weist drei kritische Einschränkungen auf:

1. Konfliktierende Ziele: Das Modell muss gleichzeitig Quellkompression, Kanalcodierung und Aufgabenfidelity innerhalb eines einzigen Prompts optimieren.
2. Empfindlichkeit gegenüber Kanalbeeinträchtigungen: Die Übertragung erfolgt typischerweise als einzelner komprimierter Textblock. Folglich können lokalisierte Kanalfehler die globale semantische Kohärenz stören und zu katastrophalem Versagen führen.
3. Mangelnde Diagnosefähigkeit: Zwischenentscheidungen der Verarbeitung sind im „Black Box"-Prompt verborgen, was es schwierig macht, Fehler spezifischen Stufen zuzuordnen, Probleme zu diagnostizieren oder Komponenten auszutauschen.

Methodik: Das SkillCom-Framework
Um diese Einschränkungen zu adressieren, schlagen die Autoren SkillCom vor, ein modulares Framework, das die Pipeline der semantischen Kommunikation in vier explizite, unabhängig ersetzbare Fähigkeiten zerlegt, die über typisierte semantische Einheitenschnittstellen verbunden sind. Das Kernprinzip des Designs ist die unabhängige Übertragung semantischer Einheiten, bei der die Quelle in strukturierte Einheiten abstrahiert wird, anstatt in einen monolithischen Textblock.

Das Framework arbeitet durch vier sequenzielle Fähigkeiten:

1. Semantische Abstraktionsfähigkeit ($ABS$): Bildet rohen Quelltext ($x$) und Aufgabenbeschreibungen ($T$) auf eine Menge typisierter semantischer Einheiten ($U$) ab. Der Artikel schlägt drei Realisierungen vor:

   • Heuristisch: Deterministische Extraktion mittels TF-IDF und Entitätskennzeichen.
   • LLM-angereichert: Ergänzung von Heuristiken mit von LLMs generierten Schlüsselwörtern und Zusammenfassungen.
   • Strukturiertes LLM: Verwendung von JSON-Schema-beschränkten LLM-Aufrufen, um direkt Einheitentypen auszugeben.
     Jede Einheit $u_i$ wird durch eine sechsfeldrige Schnittstelle definiert: semantische Nutzlast ($\xi$), Typ ($\tau$), Aufgabenrelevanz ($r$), Quellenbedeutung ($s$), Kanalrobustheit ($g$) und Tokenkosten ($\kappa$).

2. Kanaladaptive Übertragungsfähigkeit ($TRANS$): Wählt eine Teilmenge von Einheiten ($S$) für die Übertragung basierend auf dem Kanalzustand (SNR) und dem Kommunikationsbudget ($B$) aus. Dies wird als ein eingeschränktes Nutzenmaximierungsproblem formuliert, das Einheiten priorisiert, die aufgabenrelevant, quellenwichtig und rauschrobust sind, während Übertragungskosten bestraft werden. Zu den Realisierungen gehören Greedy Selection (Gierige Auswahl) und Greedy Selection mit LLM-Deduplizierung.

3. Empfänger-Reparaturfähigkeit ($REPAIR$): Rekonstruiert einen nutzbaren semantischen Kontext aus erfolgreich empfangenen Einheiten ($S_{rx}$) und der Aufgabenbeschreibung. Sie identifiziert gelöschte Einheiten ($S_{\emptyset}$) und versucht eine Wiederherstellung durch:

   • Generative Reparatur: Synthese von Ersatz-Einheiten via LLM.
   • Geführte Reparatur: Ableitung strukturierter Anleitung (z. B. aktive Domänen, bestätigte Slots) aus dem überlebenden Kontext ohne Synthese neuer Inhalte.

4. Aufgabenausführungsfähigkeit ($EXEC$): Ein aufgabenkonditionierter LLM-Decoder, der die reparierte semantische Darstellung ($\hat{U}$) auf die endgültige Ausgabe ($\hat{y}$) abbildet. Da die Eingangsschnittstelle fest bleibt, erfordern Änderungen in vorgelagerten Fähigkeiten keine Modifikation der Ausführungsstufe.

Hauptbeiträge

1. Explizite Fähigkeitenzerlegung: SkillCom wird als das erste Framework vorgestellt, das LLM-basierte semantische Kommunikation in vier distincte, ersetzbare Fähigkeiten mit typisierten Schnittstellen zerlegt, was eine stufenweise Ablation und gezielte Diagnose ermöglicht.
2. Unabhängige Übertragung semantischer Einheiten: Durch die individuelle Übertragung typisierter Einheiten anstelle eines einzelnen Blocks lokalisiert das Framework Kanalbeeinträchtigungen. Paketverluste, die eine Einheit betreffen, machen andere nicht ungültig und ermöglichen eine gezielte Reparatur auf Empfängerseite.
3. Aufgabenabhängige Optimierung: Das Framework zeigt, dass optimale Fähigkeitenrealisierungen je nach Aufgabe variieren, was eine modulare Optimierung einzelner Komponenten erlaubt.

Experimentelle Ergebnisse
Die Autoren evaluierten SkillCom auf HotpotQA (Multi-Hop-Fragebeantwortung) und MultiWOZ 2.4 (Dialogzustandsverfolgung) unter variierenden Signal-Rausch-Verhältnissen (SNR) und Kommunikationsbudgets.

• Leistung im Vergleich zur monolithischen Baseline: SkillCom schnitt bei der monolithischen LLM-Baseline konsistent besser ab. Bei HotpotQA mit SNR=7 dB verbesserte die beste SkillCom-Variante (Struct+Dedup) den Exact Match (EM) von 0,42 auf 0,56 und F1 von 0,51 auf 0,68. Bei MultiWOZ erreichte die monolithische Baseline eine Joint Goal Accuracy (JGA) nahe null (JGA=0,02), wohingegen SkillCom-Varianten eine sinnvolle Leistung wiederherstellten (bis zu JGA=0,08).
• Rauschrobustheit: Mit abnehmendem SNR litt die monolithische Baseline unter katastrophaler Degradation. Im Gegensatz dazu behielten SkillCom-Varianten eine wesentlich höhere Nutzbarkeit bei, insbesondere bei niedrigem SNR (4 dB), was bestätigt, dass die Übertragung auf Einheiten-Ebene ein vollständiges Nachrichtenversagen verhindert.
• Ablationsstudien:
  • Für HotpotQA war die kanalbewusste Übertragung (Einheitenpriorisierung) die kritischste Komponente; ihre Entfernung verursachte den größten Leistungsabfall ($\Delta F1 = -0,20$).
  • Für MultiWOZ war die LLM-angereicherte Abstraktion der dominierende Faktor; ihre Entfernung reduzierte Slot F1 und JGA signifikant, während Übertragung und Reparatur nur geringe Auswirkungen hatten.
• Budgetsensitivität: SkillCom zeigte über alle Budgetlevel hinweg eine überlegene Effizienz. Bei MultiWOZ verbesserte eine Erhöhung des Budgets die Leistung von SkillCom erheblich (Slot F1 von 0,33 auf 0,47), wohingegen die monolithische Baseline nahezu flach blieb.

Bedeutung und Behauptungen
Der Artikel behauptet, dass die explizite Zerlegung in Fähigkeiten eine robustere und besser diagnostizierbare Grundlage für LLM-basierte semantische Kommunikation im Vergleich zu monolithischen Methoden bietet. Durch die Umwandlung von Kanalbeeinträchtigungen von ganzen Nachrichtenfehlern in lokalisierte Einheitenlöschungen ermöglicht das Framework:

• Gezielte Reparatur: Wiederherstellung aus erfolgreich empfangenen Einheiten ohne erneute Übertragung der gesamten Nachricht.
• Modularität: Die Fähigkeit, spezifische Fähigkeiten zu ersetzen oder abzuleiten (z. B. Austausch einer heuristischen Abstraktion gegen ein strukturiertes LLM), ohne das gesamte System neu zu entwerfen.
• Aufgabenspezifische Feinabstimmung: Die Identifizierung aufgabenabhängiger Engpässe (z. B. Übertragung für QA vs. Abstraktion für DST) ermöglicht eine präzise Optimierung, die in End-to-End-monolithischen Systemen schwer zu erreichen ist.

Die Autoren schließen, dass LLMs zwar die Fähigkeit zur semantischen Kommunikation besitzen, deren Einsatz als monolithische Blöcke jedoch ihre Robustheit und Kontrollierbarkeit einschränkt; SkillCom adressiert dies durch die Organisation komplexer Verhaltensweisen in explizite, wiederverwendbare Module.