🤖 machine learning

When Tables Leak: Attacking String Memorization in LLM-Based Tabular Data Generation

本文揭示了基于大语言模型的表格数据生成方法因记忆数字模式而存在隐私泄露风险，提出了一种名为 LevAtt 的黑盒成员推断攻击以暴露该风险，并设计了一种新颖的数字扰动采样策略，在保持数据效用的同时有效缓解泄露问题。

原作者： Joshua Ward, Bochao Gu, Chi-Hua Wang, Guang Cheng

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

原作者： Joshua Ward, Bochao Gu, Chi-Hua Wang, Guang Cheng

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是论文《当表格泄露：攻击基于大语言模型的表格数据生成中的字符串记忆》的通俗解读，通过日常类比拆解为简单概念。

宏观图景：“复制 - 粘贴”问题

想象你是一位厨师，试图基于一本真实的食谱创作一本全新的、伪造的食谱书。你的目标是写出味道像原版但并非完全复制的新食谱，这样你就可以分享这本书，而不会泄露原厨师的秘传家族配方。

最近，强大的 AI 厨师（大语言模型，即 LLMs）在这项任务上变得非常擅长。它们可以查看几份真实食谱，然后写出数百份看起来和尝起来都恰到好处的新食谱。

然而，这篇论文发现了一个可怕的缺陷：这些 AI 厨师不擅长隐藏它们的作业。 它们不仅仅是学习烹饪的风格，而是在秘密地记忆原版书中的确切数字和文字。如果你让它们生成一份假食谱，它们可能会意外地吐出一份真实的食谱，逐字逐句地重现，从而泄露原主人的私有数据。

新攻击手段："LevAtt"（字符串侦探）

研究人员创造了一种捕捉这些 AI 厨师的新方法，称为LevAtt。

旧方法： 之前的安全检查主要查看“食材”（即数字和类别），看它们是否过于接近真实数据。这就像检查假食谱是否使用了完全相同的盐量。
新方法（LevAtt）： 研究人员意识到，LLM 并不是按“食材”思考的；它们是按文本字符串思考的。当 AI 写下一个数字如"17.50"时，它看到的是字符 1、7、.、5、0。
类比： 想象 AI 是一只鹦鹉。如果你教它一句特定的短语，它可能会完美地重复出来。LevAtt 就像一位侦探，它倾听鹦鹉的复述并检查：“你刚刚是不是从训练书中重复了那串完全相同的字符？”
结果： 研究人员发现，即使 AI 只被给予极少量的数据进行学习（即“无黑盒”场景，意味着攻击者对 AI 的内部设置一无所知），LevAtt 也能完美地识别出某条特定的假记录是否实际上是真实记录的复制品。在某些情况下，AI 复制数据得如此完美，以至于攻击成功率达到了 100%。

为什么会发生这种情况？

论文解释说，LLM 被设计用于预测句子中的下一个词。当处理表格（如电子表格）时，它们将数字行视为长句子。

“长序列”陷阱： 如果数据集中包含长串数字（如电话号码、信用卡号或长 ID 代码），AI 会将其视为长句子。就像鹦鹉记忆长诗一样，AI 也会记忆这些长数字序列。
“更多数据”陷阱： AI 生成的假记录越多，它意外吐出一条它记忆过的真实记录的可能性就越高。这就像一个背诵了整本教科书的學生；如果让他写 1,000 篇练习作文，最终他肯定会不小心逐字复制某句话。

解决方案：如何修复泄露

研究人员测试了两种阻止 AI 泄露秘密的方法。

1. “数字修饰器”（DM）——便利贴修复法

工作原理： 在 AI 生成假数据后，该方法会遍历数据并随机翻转几个数字（例如，将 7 改为 3）。
类比： 这就像拿着一份复制的文件，用涂改液笔在几个数字上乱画，然后再交给别人。
问题： 虽然这阻止了“复制 - 粘贴”式的泄露，但它破坏了数据的质量。就像在食谱上乱画一样；现在蛋糕可能发不起来，因为你改变了面粉的量。数据对于现实世界任务的实用性降低了。

2. “基于倾向的 Logit 处理器”（TLP）——温和的推动

工作原理： 这种方法在 AI思考时（甚至在它写下数字之前）对其进行微调。它温和地推动 AI 选择与其最 confident 的数字略有不同的数字。
类比： 与其在成品食谱上乱画，不如对厨师耳语：“嘿，这次也许不要用正好 17.50 克糖；试试 17.48 克。”
结果： 这是获胜者。它阻止了 AI 复制确切的数字（修复了隐私泄露），同时保持了食谱的味道（保留了数据的实用性）。它打破了“记忆”，但没有破坏“风味”。

我们已有的隐私工具怎么样？

论文还测试了差分隐私（DP），这是一种在许多领域使用的黄金标准隐私技术。

结果： DP 确实阻止了泄露。
代价： 它使数据变得如此“嘈杂”和混乱，以至于几乎无法用于训练其他 AI 模型。这就像为了隐藏食材而在食谱中加入太多的盐，导致没人能再吃这道菜了。

核心结论

风险： 生成假表格的 AI 模型目前正通过记忆确切的数字字符串，泄露真实的私有信息。
发现： 即使不知道 AI 的工作原理，仅通过简单的文本字符串检查（LevAtt）就能捕捉到这种泄露。
修复： 我们可以通过在 AI 生成数据时温和地推动其选择（TLP）来阻止这种情况，这样既能保持数据隐私，又能保持数据的实用性。
警告： 如果我们不修复这个问题，在医疗或银行等敏感领域分享“假”数据可能会意外泄露真实个人的私有信息。

论文总结道，虽然这些 AI 模型功能强大，但它们需要一个“隐私卫士”（如 TLP），以确保它们学习的是数据的模式，而不仅仅是复制数据本身。

技术摘要：当表格泄露时：攻击基于大语言模型的表格数据生成中的字符串记忆

1. 问题陈述

大语言模型（LLMs）已成为合成表格数据的最先进生成器，主要利用两种范式：上下文学习（ICL），即在上下文窗口中提供示例；以及监督微调（SFT），即让模型在字符串编码的表格数据上进行训练。虽然这些方法为下游任务提供了高统计保真度和实用性，但它们引入了一种与传统生成模型（如 GANs、VAEs）截然不同的新型隐私漏洞。

传统表格生成器直接在特征空间运作，将样本视为原子单元。相比之下，LLMs 将表格行分解为自回归字符串序列（逐 token 生成）。本文认为，这种架构转变创造了一个独特的攻击面：LLMs 倾向于记忆并复现训练数据中僵化的、结构化的数字模式。由于表格数据缺乏自然语言的语义歧义性（即无法进行改写），即使是微小的字符级复现也构成了对敏感信息（如金融金额、标识符）的精确记忆。

现有的合成数据成员推断攻击（MIAs）主要关注特征空间距离（如欧几里得距离、密度估计）。作者认为，这些方法未能检测到 LLMs 所使用的中间字符串表示所固有的漏洞，从而在基于 LLM 的表格生成器的隐私审计中留下了关键空白。

2. 方法论

2.1 威胁模型

本研究采用保守的无黑盒（No-box）威胁模型。攻击者仅能访问生成的合成数据集（ $S$ ）。攻击者不具备：

访问模型内部、权重或超参数的权限。
对模型的查询访问权限。
用于校准的参考数据集或辅助数据。
该模型反映了合成数据在公开共享且未披露生成过程的现实场景。

2.2 攻击方法：LevAtt（莱文斯坦攻击）

为了利用 LLM 生成的基于字符串的特性，作者提出了LevAtt，这是一种基于字符串相似度而非特征空间邻近性的无黑盒 MIA。

机制：该攻击将表格记录转换为规范字符串表示，保留结构（数字保持一致的精度，类别使用稳定的 token）。随后，计算测试观测值（ $x^*$ ）与生成数据集中最近合成记录之间的莱文斯坦编辑距离（字符级编辑距离）。
评分：攻击分数定义为 $f(x^*_{str}, S_{str}) = -\min_{s \in S_{str}} \ell(x^*_{str}, s)$ ，其中 $\ell$ 为莱文斯坦距离。距离越小（分数越高）表示匹配越紧密，表明合成数据记忆了训练记录。
原理：与自然语言不同，表格数字字符串是僵化的。单个数字的改变会显著改变数值含义。因此，近乎精确的字符串匹配是特征空间攻击所遗漏的、表明记忆发生的强且高置信度的信号。

2.3 提出的防御措施

本文评估了两种缓解此类泄露的策略：

数字修改器（DM）：一种后处理算法，遍历数值列并根据概率函数 $g$ 翻转数字。数值幅度越大，受到的扰动概率越高。此步骤在生成后应用。
基于倾向的 Logit 处理器（TLP）：一种集成到生成过程中的采样时防御。它在采样前对模型的 logit 应用凹的、单调的曲线函数（ $f_t(x) = x^{1/t}$ ）。这抑制了高置信度 token（通常是记忆序列）并放大了低概率 token，在引入受控随机性的同时不破坏特征依赖关系。

3. 实验结果

3.1 ICL 范式（上下文学习）

实验在 35 个真实世界回归数据集上使用 LLaMA 3.3-70B、GPT-4o-mini 和 TabPFN-v2 进行。

泄露情况：LevAtt 显示出显著的隐私泄露。对于 TabPFN-v2 和 LLaMA 3.3-70B，该攻击在最差情况的前 20 次运行中实现了完美的成员分类（AUC-ROC $\approx$ 1.0）。
相关性：LevAtt 与传统特征空间 MIA（DCR、密度估计、MC）的相关性较弱，证实它检测到了独特的、正交的泄露信号。
扩展性：隐私泄露随模型规模增大而增加（70B 模型比 7B 规模模型泄露更多），并随上下文示例数量的增加而减少（示例越少，记忆程度越高）。

3.2 SFT 范式（监督微调）

实验涉及在 CASP、Diabetes 和 CA-Housing 等数据集上微调模型（LLaMA 3.2、Qwen2.5、Mistral、GPT-2），并与 RealTabFormer 和 GREAT 进行基准测试。

泄露情况：与 ICL 相比，SFT 模型表现出较低但仍显著的泄露。RealTabFormer 尽管声称具有隐私意识，却显示出最高的脆弱性（LevAtt AUC $\approx$ 0.65–0.70）。
传统模型：传统深度学习生成器（CT-GAN、TVAE）对 LevAtt 免疫，因为它们不生成 token 序列。
因素：泄露量随生成的合成数据量和训练数据中数字序列长度的增加而单调增加。
权衡：隐私（LevAtt AUC）与保真度（MMD、Wasserstein 距离）之间观察到负相关性。统计保真度更高的模型更容易发生字符串记忆。

3.3 防御评估

数字修改器（DM）：成功降低了 LevAtt AUC，但导致数据保真度灾难性下降。噪声注入将数值推离有效分布，使数据对下游任务无用。
TLP：成功将 LevAtt AUC 降低至接近随机水平（ $\approx$ 0.55），并将真阳性率（TPR）降至 $<0.125$ ，同时保持了统计保真度（MMD 和 Wasserstein 距离与原始生成相当）和下游效用（XGBoost 性能）。
差分隐私（DP）：虽然 DP2Stage（DP-SGD）有效击败了 LevAtt，但它在所有模型中导致了最差的效用和保真度，突显了针对 LLM 的训练时差分隐私在隐私 - 效用权衡上的严重性。

4. 主要贡献

识别字符串记忆：本文指出基于 LLM 的表格生成器会记忆僵化的数字字符串模式，这是一种特征空间攻击无法察觉的漏洞。
LevAtt 攻击：引入了一种简单的无黑盒 MIA，利用莱文斯坦距离，在最小对抗假设下对最先进模型实现了完美分类。
风险实证：证明了高保真度的 SFT 和 ICL 模型（包括 RealTabFormer）会泄露成员信息，而传统生成器则不会。
有效防御（TLP）：提出了 TLP，一种通过扰动 logit 来缓解记忆的采样时机制，成功在隐私保护与数据效用及保真度之间取得平衡。

5. 意义与主张

作者声称，基于 LLM 的表格数据生成引入了一种根本性的新隐私风险，区别于传统生成模型。这项工作的意义在于：

重新定义攻击面：将焦点从特征空间距离转移到字符级字符串相似度，这对自回归模型至关重要。
挑战隐私假设：证明即使是“隐私意识”的 SFT 方法和高保真度生成器，在数据结构僵化时也会灾难性地泄露训练数据。
实际缓解：提供了一种可部署的防御（TLP），无需重新训练或牺牲数据效用，这与差分隐私不同。

本文结论指出，虽然 LLM 提供了卓越的效用，但其自回归性质使其在表格语境中倾向于“检索”而非“泛化”。作者强调，如果没有像 TLP 这样的特定防御措施，在隐私敏感领域（医疗、金融）部署基于 LLM 的合成表格数据将构成重大的重识别风险。

指出的局限性：

LevAtt 依赖于一致的字符串格式；格式变化（例如"17.5"与"17.500"）可能会掩盖信号。
防御措施（DM、TLP）是经验性的，缺乏正式的隐私保证（不同于 DP）。
该研究假设无黑盒模型；拥有模型访问权限的更强大攻击可能更有效。
与僵化的数值/类别模式相比，该攻击对开放式文本字段的效果较差。