Technische Zusammenfassung: Wenn Tabellen lecken: Angriff auf das Memorieren von Strings in LLM-basierten tabellarischen Datengeneratoren

1. Problemstellung

Large Language Models (LLMs) haben sich als state-of-the-art-Generatoren für synthetische tabellarische Daten etabliert und nutzen dabei zwei primäre Regime: In-Context Learning (ICL), bei dem Beispiele im Kontextfenster bereitgestellt werden, und Supervised Fine-Tuning (SFT), bei dem Modelle auf string-kodierten tabellarischen Daten trainiert werden. Während diese Methoden eine hohe statistische Fidelity und Nutzbarkeit für nachgelagerte Aufgaben bieten, führen sie eine neue Privatsphären-Schwachstelle ein, die sich von traditionellen generativen Modellen (z. B. GANs, VAEs) unterscheidet.

Traditionelle tabellarische Generatoren arbeiten direkt im Merkmalsraum und behandeln Stichproben als atomare Einheiten. Im Gegensatz dazu zerlegen LLMs tabellarische Zeilen in autoregressive String-Sequenzen (Token für Token). Diese Arbeit vertritt die These, dass dieser architektonische Wandel eine einzigartige Angriffsfläche schafft: LLMs neigen dazu, starre, strukturierte Muster numerischer Ziffern aus ihren Trainingsdaten zu memorieren und wiederzugeben. Da tabellarische Daten die semantische Ambiguität natürlicher Sprache (bei der Umformulierungen möglich sind) fehlt, stellen selbst geringfügige Reproduktionen auf Zeichenebene eine exakte Memorierung sensibler Informationen dar (z. B. Finanzbeträge, Identifikatoren).

Bestehende Membership Inference Attacks (MIAs) für synthetische Daten konzentrieren sich auf Distanzen im Merkmalsraum (z. B. euklidische Distanz, Dichteschätzung). Die Autoren argumentieren, dass diese Methoden die Schwachstellen, die der von LLMs verwendeten intermediären String-Repräsentation inhärent sind, nicht erkennen, wodurch eine kritische Lücke in der Privatsphären-Auditierung für LLM-basierte tabellarische Generatoren besteht.

2. Methodik

2.1 Bedrohungsmodell

Die Studie übernimmt ein konservatives No-Box-Bedrohungsmodell. Der Angreifer hat nur Zugriff auf den generierten synthetischen Datensatz ($S$). Der Angreifer hat keinen Zugriff auf:

• Die Interna des Modells, Gewichte oder Hyperparameter.
• Eine Abfragezugriffsmöglichkeit auf das Modell.
• Einen Referenzdatensatz oder Hilfsdaten zur Kalibrierung.
  Dieses Modell spiegelt realistische Szenarien wider, in denen synthetische Daten öffentlich geteilt werden, ohne dass der Generierungsprozess offengelegt wird.

2.2 Der Angriff: LevAtt (Levenshtein-Angriff)

Um die auf Strings basierende Natur der LLM-Generierung auszunutzen, schlagen die Autoren LevAtt vor, eine No-Box-MIA, die auf String-Ähnlichkeit und nicht auf Merkmalsraum-Nähe basiert.

• Mechanismus: Der Angriff wandelt tabellarische Datensätze in kanonische String-Repräsentationen um, wobei die Struktur erhalten bleibt (konsistente Genauigkeit für Zahlen, stabile Tokens für Kategorien). Anschließend wird der Levenshtein-Editierabstand (Editierabstand auf Zeichenebene) zwischen einer Testbeobachtung ($x^*$) und dem nächsten synthetischen Datensatz im generierten Datensatz berechnet.
• Bewertung: Der Angriffswert ist definiert als $f(x^*_{str}, S_{str}) = -\min_{s \in S_{str}} \ell(x^*_{str}, s)$, wobei $\ell$ die Levenshtein-Distanz ist. Geringere Distanzen (höhere Werte) deuten auf eine engere Übereinstimmung hin und legen nahe, dass der synthetische Datensatz den Trainingsdatensatz memorisiert hat.
• Begründung: Im Gegensatz zur natürlichen Sprache sind numerische Strings in Tabellen starr. Eine Änderung einer einzigen Ziffer verändert den Wert erheblich. Daher ist eine nahezu exakte String-Übereinstimmung ein starkes Signal hoher Konfidenz für Memorierung, das von Angriffen im Merkmalsraum übersehen wird.

2.3 Vorgeschlagene Verteidigungen

Die Arbeit evaluiert zwei Strategien zur Minderung dieses Leckagens:

1. Digit Modifier (DM): Ein Nachverarbeitungsalgorithmus, der durch numerische Spalten iteriert und Ziffern basierend auf einer Wahrscheinlichkeitsfunktion $g$ flippt. Größere Betragswerte erhalten höhere Perturbationswahrscheinlichkeiten. Dies wird nach der Generierung angewendet.
2. Tendency-based Logit Processor (TLP): Eine Verteidigung zur Stichprobenziehung, die in den Generierungsprozess integriert ist. Sie wendet eine konkave, monoton steigende Kurvenfunktion ($f_t(x) = x^{1/t}$) auf die Logits des Modells vor der Stichprobenziehung an. Dies unterdrückt Tokens mit hoher Konfidenz (oft memorisierte Sequenzen) und verstärkt Tokens mit geringerer Wahrscheinlichkeit und führt kontrollierte Zufälligkeit ein, ohne Merkmalsabhängigkeiten zu brechen.

3. Experimentelle Ergebnisse

3.1 ICL-Regime (In-Context Learning)

Experimente wurden an 35 realen Regressionsdatensätzen mit LLaMA 3.3-70B, GPT-4o-mini und TabPFN-v2 durchgeführt.

• Leckage: LevAtt zeigte erhebliche Privatsphären-Leckage. Für TabPFN-v2 und LLaMA 3.3-70B erreichte der Angriff eine perfekte Mitgliedschaftsklassifizierung (AUC-ROC $\approx$ 1,0) in den Top-20-Schlimmstfalls-Läufen.
• Korrelation: LevAtt zeigte eine schwache Korrelation mit traditionellen MIAs im Merkmalsraum (DCR, Dichteschätzung, MC), was bestätigt, dass es ein einzigartiges, orthogonales Leckagesignal erkennt.
• Skalierung: Die Privatsphären-Leckage nahm mit der Modellgröße zu (70B-Modelle leckten mehr als 7B-Modelle) und nahm mit der Anzahl der In-Context-Beispiele ab (weniger Beispiele führten zu höherer Memorierung).

3.2 SFT-Regime (Supervised Fine-Tuning)

Experimente umfassten das Fine-Tuning von Modellen (LLaMA 3.2, Qwen2.5, Mistral, GPT-2) auf Datensätzen wie CASP, Diabetes und CA-Housing, verglichen mit RealTabFormer und GREAT.

• Leckage: SFT-Modelle zeigten im Vergleich zu ICL eine geringere, aber dennoch signifikante Leckage. RealTabFormer zeigte trotz Behauptungen von Privatsphärenbewusstsein die höchste Anfälligkeit (LevAtt AUC $\approx$ 0,65–0,70).
• Konventionelle Modelle: Traditionelle Deep-Learning-Generatoren (CT-GAN, TVAE) waren gegen LevAtt immun, da sie keine Token-Sequenzen generieren.
• Faktoren: Die Leckage nahm monoton mit dem Volumen der generierten synthetischen Daten und der Länge der Ziffernsequenzen in den Trainingsdaten zu.
• Zielkonflikt: Es wurde eine negative Korrelation zwischen Privatsphäre (LevAtt AUC) und Fidelity (MMD, Wasserstein-Distanz) beobachtet. Modelle mit höherer statistischer Fidelity waren anfälliger für String-Memorierung.

3.3 Evaluierung der Verteidigung

• Digit Modifier (DM): Reduzierte den LevAtt AUC erfolgreich, verursachte jedoch einen katastrophalen Abfall der Datenfidelity. Die Rauscheinjection drückte Werte außerhalb der gültigen Verteilung und machte die Daten für nachgelagerte Aufgaben unbrauchbar.
• TLP: Reduzierte den LevAtt AUC erfolgreich auf nahezu zufällige Werte ($\approx$ 0,55) und die TPR auf $<0,125$, während die statistische Fidelity (MMD- und Wasserstein-Distanzen blieben mit der Vanilla-Generierung vergleichbar) und die Nutzbarkeit für nachgelagerte Aufgaben (XGBoost-Leistung) erhalten blieben.
• Differential Privacy (DP): Während DP2Stage (DP-SGD) LevAtt effektiv ausschaltete, führte dies zu den schlechtesten Nutzen- und Fidelity-Werten aller Modelle und unterstreicht den schwerwiegenden Privatsphären-Nutzen-Zielkonflikt von DP während des Trainings für LLMs.

4. Hauptbeiträge

1. Identifizierung von String-Memorierung: Die Arbeit identifiziert, dass LLM-basierte tabellarische Generatoren starre numerische String-Muster memorieren, eine Schwachstelle, die für Angriffe im Merkmalsraum unsichtbar ist.
2. LevAtt-Angriff: Einführung eines einfachen No-Box-MIA unter Verwendung der Levenshtein-Distanz, der bei state-of-the-art-Modellen unter minimalen adversarischen Annahmen eine perfekte Klassifizierung erreicht.
3. Empirischer Nachweis des Risikos: Demonstration, dass hochfidele SFT- und ICL-Modelle (einschließlich RealTabFormer) Mitgliedschaftsinformationen lecken, während konventionelle Generatoren dies nicht tun.
4. Effektive Verteidigung (TLP): Vorschlag von TLP, einem Mechanismus zur Stichprobenziehung, der Memorierung durch Perturbierung der Logits mindert und erfolgreich Privatsphärenschutz mit Datennutzen und Fidelity in Einklang bringt.

5. Bedeutung und Behauptungen

Die Autoren behaupten, dass die Generierung tabellarischer Daten auf Basis von LLMs ein grundlegend neues Privatsphärenrisiko einführt, das sich von traditionellen generativen Modellen unterscheidet. Die Bedeutung dieser Arbeit liegt in:

• Neudefinition der Angriffsfläche: Verlagerung des Fokus von der Distanz im Merkmalsraum auf die String-Ähnlichkeit auf Zeichenebene, was für autoregressive Modelle kritisch ist.
• Herausforderung von Privatsphärenannahmen: Demonstration, dass selbst „privatsphärenbewusste" SFT-Methoden und hochfidele Generatoren katastrophal Trainingsdaten lecken können, wenn die Datenstruktur starr ist.
• Praktische Minderung: Bereitstellung einer einsetzbaren Verteidigung (TLP), die kein erneutes Training erfordert und keinen Datennutzen opfert, im Gegensatz zu Differential Privacy.

Die Arbeit kommt zu dem Schluss, dass LLMs zwar eine überlegene Nutzbarkeit bieten, ihre autoregressive Natur sie jedoch in tabellarischen Kontexten anfällig für „Abruf" statt „Generalisierung" macht. Die Autoren betonen, dass ohne spezifische Verteidigungen wie TLP der Einsatz von LLM-basierten synthetischen tabellarischen Daten in privatsphärensensiblen Sektoren (Gesundheitswesen, Finanzen) ein erhebliches Risiko der Wiederidentifizierung darstellt.

Festgestellte Einschränkungen:

• LevAtt ist auf konsistentes String-Formatting angewiesen; Formatierungsvariationen (z. B. „17,5" vs. „17,500") könnten Signale verschleiern.
• Die Verteidigungen (DM, TLP) sind empirisch und bieten keine formalen Privatsphärengarantien (im Gegensatz zu DP).
• Die Studie geht von einem No-Box-Modell aus; leistungsfähigere Angriffe mit Modellzugriff könnten effektiver sein.
• Der Angriff ist bei offenen Textfeldern weniger effektiv als bei starren numerischen/kategorischen Schemata.