💬 NLP

LADDER: Language-Driven Slice Discovery and Error Rectification in Vision Classifiers

LADDER 是一个利用大语言模型来发现连贯的、由语言驱动的错误切片并生成伪属性，从而实现视觉分类器全面偏差缓解的新型框架，它通过整合领域知识和高级推理，在无需显式标注的情况下，克服了传统聚类和基于属性方法的局限性。

原作者： Shantanu Ghosh, Rayan Syed, Chenyu Wang, Vaibhav Choudhary, Binxu Li, Clare B. Poynton, Shyam Visweswaran, Kayhan Batmanghelich

发布于 2026-08-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shantanu Ghosh, Rayan Syed, Chenyu Wang, Vaibhav Choudhary, Binxu Li, Clare B. Poynton, Shyam Visweswaran, Kayhan Batmanghelich

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人识别动物。你给它看了成千上万张猫和狗的照片，它变得非常擅长猜测。但随后，你注意到一件奇怪的事情：机器人其实并没有真正学会什么是“猫”。相反，它在利用捷径。它在观察背景。如果猫在绿色的草坪上，机器人就会想：“绿色草坪？那一定是猫！”但如果一只猫在红地毯上，机器人就会惊慌失措并猜成“狗”。这被称为“偏差”（bias），是人工智能中一个隐蔽的问题。机器人是在利用捷径，而不是在做理解本质的艰苦工作。

长期以来，科学家们试图通过制定一份庞大的清单来解决这个问题，比如检查“是否有草？”或“是否有树？”。但这就像是通过只检查是否戴了红帽子来抓贼一样；万一贼戴的是蓝帽子呢？旧的方法太僵化了。它们无法跳出框架思考，也经常会错过导致机器人失败的细微线索。于是，一个新想法出现了：如果我们能直接问机器人，“嘿，你为什么错了？”并让它用语言解释自己的原因，会怎样呢？这正是这篇论文所探讨的核心问题。

由此诞生了 LADDER，一个聪明的工具，它扮演着 AI 错误侦探的角色。LADDER 并没有强迫机器人去套用预设的清单，而是利用一个超级智能的语言大脑（称为大语言模型，或 LLM）来弄清楚机器人究竟为什么失败。你可以这样理解：如果机器人是一个正在考试的学生，旧的方法就像是一个只检查学生是否写对了答案的老师。而 LADDR 则像是一位会阅读学生草稿纸的老师，它发现学生是因为被窗外的鸟儿分了心，然后说：“啊！你不是因为不会数学而失败，是因为你在看那只鸟！”

以下是 LADDER 施展魔力的方式。首先，它观察机器人答对的照片和答错的照片。然后，它要求一位语言专家（LLM）去阅读这些照片的描述或“说明文字”。这位语言专家就像一位拿着放大镜的侦探，扫描文本寻找线索。它可能会说：“等等！每当机器人正确诊断出‘气胸’（一种肺部疾病）时，报告都会提到‘胸管’。但当它诊断错误时，胸管就消失了！”机器人并不是在看肺部，它只是在寻找胸管。

一旦 LADDER 发现了这些隐蔽的模式，它不仅仅是指出它们，还会修复它们。它会创建一套新的规则（称为“伪标签”），教机器人忽略那些胸管，而去真正观察肺部。这就像是在告诉学生：“下次，忽略那只鸟，专注于数学题。”论文在各种棘手的任务上测试了它，从森林中的鸟类识别到医学影像中的癌症检测。他们对 200 多个不同的机器人大脑进行了测试，发现 LADDER 在发现这些隐藏错误方面比旧的清单方法要出色得多。

最棒的部分是什么？LADDER 不需要人类去写下每一项它应该寻找的事物。它通过阅读随图像附带的文本来自动发现这些规律。事实上，当他们在医学影像上进行测试时，LADDER 发现了连旧方法都会错过的偏差，比如机器人会被患者的年龄或用于拍摄 X 光的特定机器类型所迷惑。论文指出，通过这种由语言驱动的侦探式工作，我们可以让 AI 变得更加公平且可靠，尤其是在像医学这样“答对结果至关重要”的重要领域。它不是一个能瞬间解决一切问题的魔杖，但它是一种全新的方式，让我们能够倾听 AI 的声音，并帮助它学到正确的教训。

技术摘要：LADDER —— 用于视觉分类器的语言驱动切片发现与错误纠正

1. 问题陈述

视觉分类器经常在特定的数据子集（称为错误切片，error slices）上表现出系统性失效，这是由于训练过程中学习到了伪相关性（偏差）。识别这些切片对于提高模型的鲁棒性至关重要，尤其是在放射学等需要处理微妙且具有领域特定性的偏差的专业领域。

目前的切片发现方法面临三个主要局限性：

受限的属性库： 它们依赖于预定义的属性集或视觉标签，限制了其发现新颖或复杂偏差的能力。
缺乏推理能力与领域知识： 它们通常缺乏解释复杂错误模式所需的常识或专门的领域知识（例如放射学病理学）。
无法捕捉预处理偏差： 它们通常会忽略在数据准备或预处理阶段（如元数据、DICOM 请求头）引入的偏差，而这些偏差在原始图像像素中并不存在。

此外，现有的缓解策略通常需要昂贵的偏差属性人工标注，或者假设已知偏差的数量和类型，而这在现实场景中是难以获得的。

2. 方法论：LADDER

LADDER（Language-Driven Slice Discovery and Error Rectification，语言驱动的切片发现与错误纠正）是一个利用大语言模型（LLM）的推理能力和潜在领域知识，自动发现并缓解错误切片的框架，且无需显式的属性标注。该方法分为三个主要阶段：

A. 检索指示偏差的句子

LADDER 首先分析预训练分类器 $f$ 的内部激活。

投影： 它学习一个投影函数 $\pi$ ，利用 CLIP 或领域特定变体（如 CXR-CLIP）将分类器的图像表示空间 ( $\Phi$ ) 与视觉-语言表示空间 ( $\Psi_I$ ) 进行对齐。
差异估计： 对于特定类别，它计算正确分类样本与误分类样本的平均投影表示之间的差异 ( $\Delta_I$ )。
检索： 该差异向量被用于从文本语料库（如图像说明、放射报告或元数据日志）中检索出在语义上与错误模式最相似的前 $K$ 个句子。这些句子描述了存在于正确预测中但在错误预测中缺失的视觉属性。

B. 通过 LLM 发现错误切片

LADDER 并非依赖无监督聚类，而是调用 LLM 来分析检索到的句子。

假设生成： LLM 生成一组关于潜在偏差的可测试假设 ( $H$ )（例如，“分类器依赖于胸管的存在”）。
提示词构建： 对于每个假设，LLM 生成特定的文本提示 ( $T$ )，在多样化的上下文中描述该属性。
切片识别： 系统计算图像的投影表示与假设特定提示的平均嵌入之间的相似度得分 ( $s_H$ )。相似度得分较低（表明不存在假设的属性）的图像被标记为潜在的错误切片。如果该子集的错误率显著高于整体类别的错误率，则确认其为一个错误切片。

C. 无需标注的缓解

LADDER 在无需人工标注的情况下缓解偏差：

伪标签： 它将相似度得分转换为概率，从而为训练数据分配伪标签（即是否存在该偏差）。
集成微调： 遵循深度特征重加权（DFR）的方法，它为每个假设创建平衡的数据集，并微调分类器的线性头。
推理： 在推理期间，系统选择与输入图像相似度得分最高的假设所对应的去偏差分类器头，从而有效地实现多个去偏差模型的集成。

3. 核心贡献

本文概述了五个主要贡献：

语言驱动的发现： 利用自然语言（说明、报告）来检索指示错误的句子，捕捉超越简单属性存在与否的洞察。
LLM 推理与领域知识： 利用 LLM 生成假设并应用潜在的领域知识（例如，识别特定的疾病亚型或病理模式），以检测标签模型可能遗漏的细微偏差。
模型无关性： 能够从任何现成的监督模型中检测切片，无论其架构或预训练策略如何，克服了 Facts 或 DrML 等方法的特定训练要求。
超越说明文字： 通过将结构化数据转换为文本进行 LLM 分析，将偏差检测扩展到元数据（如电子健康记录、DICOM 请求头）。
无标注缓解： 通过生成伪标签和进行微调来同时缓解多种偏差，无需预先知晓偏差的数量或类型。

4. 实验结果

作者在 6 个数据集（3 个自然图像数据集：Waterbirds, CelebA, MetaShift；3 个医学影像数据集：NIH Chest-X-ray, RSNA-Mammo, VinDr-Mammo）上评估了 LADDER，使用了 200 多个分类器 和 4 种不同的 LLM。

切片发现： LADDER 在 Precision@10 指标上显著优于基准方法（Domino, Facts），在医学影像数据集上实现了 50% 的大幅提升。它成功识别了诸如气胸检测中的“胸管”和鸟类分类中的“水体”等真实存在的偏差。
偏差缓解： 在 最差组准确率 (WGA) 方面，LADDER 一致优于最先进的缓解基准（GroupDRO, JTT, DFR 等）。
- 在 Waterbirds 上，它实现了 91.4% 的 WGA（比 DFR 高出 3.6%）。
- 在 RSNA-Mammo 上，它实现了 76.4%（提升 7.3%）。
- 在 VinDr-Mammo 上，它实现了 82.5%（提升 21.1%）。
- 在 NIH 数据集上，它分别比 JTT 和 DFR 高出 8.2% 和 7.4%。
鲁棒性： 该方法在不同架构（ResNet, ViT）和预训练策略（监督式、自监督式、CLIP）下均表现出一致的性能。
零样本增强： LADDER 提取的属性被用于构建提示词，从而提高了基于 CLIP 模型的零样本准确率，在 NIH 数据集上的增益高达 +19.05%。

5. 重要性与主张

论文声称 LADDER 解决了该领域的一个关键空白：即需要一种自动化方法来发现并缓解多种偏差，且无需先验知识或昂贵的标注。

泛化性： 与受限于特定训练设置或多模态模型的先前方法不同，LADDER 适用于标准的 ERM 训练分类器。
领域适应性： 通过利用 LLM，该框架可以推理复杂的、具有领域特定性的偏差（例如放射学发现），这些偏差难以通过固定的属性集来捕捉。
实用性： 该方法具有成本效益（实验中的总 LLM 成本约为 28 美元），并消除了人工属性标注的瓶颈。

作者总结道，LADDER 提供了一种可扩展、可泛化的方法来揭示并解决系统性偏差，有望增强 AI 模型在通用计算机视觉以及关键医疗应用中的可靠性和公平性。他们也承认了局限性，例如目前在发现过程中对说明文字的依赖（尽管他们提出了使用指令微调模型作为解决方法），以及所使用的基础 LLM 可能存在的固有偏差。