RoPE-LIME: RoPE-Space Locality + Sparse-K Sampling for Efficient LLM Attribution

1. Problemstellung

Die Erklärung von Ausgaben geschlossener Large Language Models (LLMs) stellt eine erhebliche Herausforderung dar. Da der Zugriff auf diese Modelle oft nur über APIs erfolgt, sind gradientenbasierte Attributionstechniken (die den internen Gradientenfluss nutzen) nicht anwendbar.
Bisherige Ansätze stützen sich auf perturbationsbasierte Methoden (Änderung der Eingabe zur Beobachtung der Ausgabeänderung), wie z. B. gSMILE. Diese leiden jedoch unter drei Hauptproblemen:

• Hohe Kosten: Jede Perturbation erfordert eine erneute Anfrage an das teure, geschlossene Modell, was bei langen Kontexten prohibitiv teuer ist.
• Ausgabe-Instabilität: Die Abhängigkeit von regeneriertem Text (statt Wahrscheinlichkeitsverteilungen) führt zu Rauschen, da kleine Eingabeänderungen zu völlig unterschiedlichen Generierungspfaden führen können.
• Ineffiziente Stichprobenziehung: Standardstrategien wie „Leave-One-Out" (LOO) oder zufälliges Maskieren erfassen oft keine Feature-Interaktionen oder skalieren schlecht mit der Eingabelänge.

2. Methodik: RoPE-LIME

Das Paper stellt RoPE-LIME vor, ein Open-Source-Framework, das das „Schlussfolgern" (Reasoning) von der „Erklärung" (Explanation) entkoppelt.

Kernarchitektur:

• Einmalige Abfrage: Das geschlossene Modell wird nur einmal aufgerufen, um die ursprüngliche Antwort zu generieren.
• Surrogat-Modell: Ein kleineres, Open-Source-Modell (z. B. Qwen-8B) dient als Surrogat. Es berechnet attributionsbasierte Scores für die fixierte Ausgabe des großen Modells unter Verwendung von perturbierten Eingaben.
• Ziel: Dies ermöglicht die Nutzung probabilistischer Ziele (wie Negative Log-Likelihood und Divergenzmaße) statt diskreter Textüberlappungen und eliminiert die Notwendigkeit wiederholter API-Aufrufe.

Technische Innovationen:

• A. Lokalitätskern basierend auf RWMD im RoPE-Raum:

  • Um die Ähnlichkeit zwischen perturbierter und ursprünglicher Eingabe zu messen, wird die Relaxed Word Mover's Distance (RWMD) verwendet.
  • Im Gegensatz zu früheren Ansätzen mit statischen Embeddings werden hier kontextualisierte Token-Embeddings genutzt.
  • RoPE (Rotary Positional Embeddings): Da Maskierungen die absoluten Indexpositionen verschieben können, wird RWMD im Raum der RoPE-Embeddings berechnet. RoPE kodiert relative Positionen durch Rotation, was die Metrik robuster gegenüber Indexverschiebungen macht.
  • Polarer L2-Abstand: Um die rotationsspezifische Geometrie von RoPE zu erhalten, werden Span-Embeddings (z. B. Sätze) nicht im euklidischen Raum, sondern im Polarkoordinatensystem aggregiert (Mittelwert der Magnituden und relativen Phasen). Der Abstand wird als „polarer L2" berechnet.

• B. Sparse-K Sampling:

  • Eine effiziente Perturbationsstrategie, die die Feature-Räume logarithmisch ($O(\log N)$) statt linear (wie bei LOO) abtastet.
  • Sie nutzt kontextuelle Abhängigkeiten natürlicher Sprache aus, um mit einem begrenzten Budget an Perturbationen ($N = c \cdot \log K$) eine hohe Abdeckung von Feature-Interaktionen zu erreichen.

• C. Pipeline:

  1. Generierung der Antwort durch das große Modell ($f_L$).
  2. Anwendung von Sparse-K Sampling auf die Eingabe, um eine Perturbationsmatrix zu erstellen.
  3. Das Surrogat-Modell ($f_S$) bewertet die perturbierten Eingaben bezüglich der fixierten Ausgabe und berechnet Negative Log-Likelihood (NLL).
  4. Als Regressionsziel dient die KL-Divergenz zwischen der Baseline und den perturbierten Ausgaben.
  5. Ein gewichtetes lineares Surrogat-Modell wird angepasst, wobei die Gewichte durch die RWMD bestimmt werden, um Lokalität zu erzwingen.

3. Wichtige Beiträge

1. Entkopplung von Reasoning und Attribution: RoPE-LIME ermöglicht hochwertige Attributionen für geschlossene Modelle, indem es ein kleineres Open-Source-Modell als Proxy nutzt, was die Kosten drastisch senkt.
2. Stabile Lokalitätsmetrik: Die Kombination aus RWMD und RoPE-Embeddings (im polaren Raum) bietet eine robustere Ähnlichkeitsmessung bei Maskierungsperturbationen als herkömmliche Methoden.
3. Effizientes Sampling: Sparse-K Sampling überwindet die Skalierungsprobleme von LOO und Powerset-Sampling, indem es logarithmisch skaliert und dennoch Interaktionen erfasst.
4. Probabilistische Ziele: Der Wechsel von Text-Overlap zu Wahrscheinlichkeitsverteilungen (NLL, KL-Divergenz) reduziert das Rauschen in den Attributionen.

4. Ergebnisse

Die Methode wurde auf den Datensätzen HotpotQA (Satz-Features) und einem handgelabelten MMLU-Subset (Wort-Features) evaluiert.

• Vergleich mit gSMILE (MMLU):

  • RoPE-LIME (unter Verwendung von Qwen-8B als Surrogat) übertraf gSMILE (unter Verwendung von gpt-4o-mini) in den Metriken IoU (Intersection over Union), F1-Score und AUROC.
  • Dies geschah trotz des Verzichtes auf geschlossene Inferenz für die Attribution und bei einem festen Perturbationsbudget von 60 Samples.
  • Dies zeigt, dass hochwertige Attributionen für kurze Eingaben nicht zwingend geschlossene Inferenz erfordern.

• Evaluation auf HotpotQA:

  • In Szenarien mit längeren Kontexten (bis zu 12+ Features) zeigte Sparse-K Sampling eine überlegene Leistung im Vergleich zu LOO-Sampling.
  • Die Methode skalierte effizient und lieferte stabilere Attributionen über verschiedene Feature-Anzahl-Buckets hinweg.

5. Bedeutung und Fazit

RoPE-LIME adressiert die zentrale Lücke in der Interpretierbarkeit geschlossener LLMs. Es beweist, dass man durch die Kombination von Open-Source-Surrogaten, geometrisch fundierten Lokalitätsmetriken (RoPE/RWMD) und intelligentem Sampling (Sparse-K) skalierbare, kosteneffiziente und aussagekräftige Attributionen erreichen kann.

Die Arbeit legt den Grundstein für eine praktikable Interpretierbarkeit von Black-Box-LLMs, ohne auf teure API-Aufrufe für jede Perturbation angewiesen zu sein, und bietet gleichzeitig eine stabilere mathematische Basis für den Vergleich von Textfragmenten in Transformer-Modellen.