💻 computer science

Complex Layout Classification in the Wild: A Low-Resource Approach with Layout-Preserving Augmentations

本文通过引入一个人工策划的数据集以及一种利用领域感知增强（如各向异性高斯掩码和反射诱导标签变换）来提升模型泛化能力的创新型 CNN 训练策略，解决了在严重数据匮乏的情况下对复杂文档布局进行分类的挑战。

原作者： Sharva Gogawale, Iddo Hakim, Gal Grudka, Mohammad Suliman, Omer Ventura, Daria Vasyutinsky-Shapira, Berat Kurar-Barakat, Nachum Dershowitz

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sharva Gogawale, Iddo Hakim, Gal Grudka, Mohammad Suliman, Omer Ventura, Daria Vasyutinsky-Shapira, Berat Kurar-Barakat, Nachum Dershowitz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一座庞大的旧手写书库。有些页面的内容很简单，文字从上到下整齐排列；但许多页面则是混乱的杰作：文字环绕着图片、边注在页边空白处，或者主干故事被四周的笔记所包围。

如果你想让计算机阅读这些书（这个过程被称为 OCR），它首先需要知道页面的组织方式。文字是在一列中？是一个圆圈？还是一个“L”形？如果计算机猜错了，它读取文字的顺序就会出错，从而将连贯的故事变成乱码。

这篇论文探讨了如何教计算机识别这些复杂的页面形状，但面临一个巨大的挑战：我们几乎没有任何训练数据。 在 AI 世界中，模型通常需要数千个带标签的示例才能学习。而在这里，每种页面类型我们可能只有几十个示例。

以下是作者如何通过简单的类比来解决这个谜题的：

1. 问题所在：“蒙眼”的学生

想象一下，试图通过只给学生看 15 张照片，来教他们识别不同类型的房屋平面图（例如“L型”、“U型”、“O型”）。

陷阱： 如果你给学生看一张带有红门的房子照片，他们可能会记住“红门 = L型”。但下一张房子的门是蓝色的，学生就会失败，因为他们记住了“装饰”（文字/字体）而不是“结构”（布局）。
现实情况： 旧文档非常杂乱。文字的字体、大小和语言各不相同。计算机会不断被文字干扰，而不是观察页面的“骨架”。

2. 解决方案：“骨架”策略

作者意识到，这些页面最重要的部分不是文字本身，而是将文字划分为不同区域的空白空间（或“分隔符”）。把这些分隔符想象成房屋中的墙壁。文字只是家具；而墙壁定义了房间。

为了迫使计算机学习墙壁而不是家具，他们发明了一种特殊的训练技术，称为布局保持增强（Layout-Preserving Augmentation）。

类比 A：“雾气遮窗”（高斯掩码）

想象你透过一扇覆盖着厚厚窄条雾气的窗户看页面。

雾气是以特定的方向（垂直和水平线）应用的。
这种雾气会模糊掉文字（家具），使其变得无法阅读。
至关重要的是，雾气的设计并不会遮住墙壁（分隔符）。墙壁依然清晰可见。
结果： 计算机被迫通过观察清晰的墙壁来猜测房间的形状，因为家具已经被完全隐藏了。它学习的是页面的几何结构，而非内容。

类比 B：“镜面戏法”（镜像反射）

由于他们没有足够的照片，所以需要在不造假的前提下创造更多数据。

他们拿起一个页面，对着它举起一面镜子（进行水平或垂直翻转）。
难点： 如果你翻转一个“L”形，它会变成一个“反向 L”（这在他们的系统中属于不同的类别）。
解决方法： 他们制定了一套规则手册。“如果你翻转这张图像，你也必须同时将标签从‘L’更改为‘反向 L’。”
这使得他们能够在保持规则严谨的同时，将微小的训练集扩大两倍或三倍。

3. 引擎：专业的侦探

他们使用了一种名为 ConvNeXt 的特定 AI 模型。

可以将这种模型看作是一个专门寻找边缘和线条而非特定物体的侦探。
由于“雾气遮窗”技术隐藏了文字，侦探无法通过阅读单词来“作弊”。它必须依靠其识别线条和形状的天赋。
这个侦探比其他流行的 AI 模型（如 ViT 或 ResNet）更擅长这项工作，因为那些模型通常倾向于记忆纹理和细节。

4. 结果：从“猜测”到“认知”

没有使用特殊技巧时： AI 的正确率仅为 30% 左右。它只是根据随机模式在瞎猜。
使用了“雾气遮窗”和“镜面戏法”后： AI 的准确率跃升至 90%。
现实世界测试： 他们在以色列国家图书馆数千本从未见过的书籍上测试了这个 AI。尽管它从未见过这些特定的书，但在非常有把握的情况下，它能以约 84% 的准确率正确识别复杂页面的布局。

总结

这篇论文本质上是一份食谱，教计算机如何在只有少量示例的情况下识别页面的形状。

模糊文字，这样计算机就无法通过阅读单词来作弊。
保持线条清晰，以便计算机学习结构。
翻转图像并更新标签，以创造更多的练习数据。
训练专门的模型，使其专注于这些线条。

其结果是一个能够将杂乱的古代文献分类到正确的处理流程中的系统，即使在用于教学的数据非常匮乏的情况下也是如此。

技术摘要：复杂布局的野外分类

问题陈述
文档布局分析是 OCR、自动转录和阅读顺序重建等下游任务的前提。虽然现代文档（如 PDF、发票）通常遵循清晰的“曼哈顿”网格结构，但历史文献——特别是中世纪手稿和早期印刷书籍——表现出高度不规则且复杂的布局。这些布局具有非矩形的文本区域（例如 L 形、C 形、O 形以及“塔木德式”多栏排列），并由明显的几何边界分隔。

目前的先进布局分析严重依赖大规模标注基准（如 PubLayNet、DocLayNet）以及针对标准化英文文档训练的深度学习模型。由于以下三个主要原因，这些方法在低资源的历史背景下难以奏效：

数据稀缺性： 历史收藏缺乏大规模的标注数据集。
结构复杂性： 标准的基于像素的分割往往无法区分复杂配置中语义不同的文本块（例如，无法将主文本与周围的 C 形注释文本区分开来）。
过拟合： 在小数据集上训练的模型容易过拟合于偶然的文本细节（字体、特定内容），而非学习定义布局类别的全局几何排列。

方法论
作者提出了一种以优先考虑分隔符几何结构而非文本内容为核心的新型训练策略，这是一种低资源方法。

数据集构建 (CLC)：
- 作者构建了 CLC 数据集，这是一个包含来自以色列国家图书馆及各类印刷书籍的 155 页高分辨率希伯来语页面的专门语料库。
- 该数据集根据分隔区域被手动标注为 八种不同的布局类别：C（及其镜像）、L（及其镜像）、U（及其反转镜像）、O 以及 Y（作为复杂多组件布局的统称）。
- 标注由专家古文献学家进行了验证，以确保地面真值（ground-truth）的准确性。
布局保持增强技术：
为了在不引入标签噪声的情况下克服数据稀缺性，作者开发了一个特定的任务增强流水线，旨在抑制文本细节，同时保留页面的结构“骨架”：
- 窄各向异性高斯掩模 (Narrow Anisotropic Gaussian Masking)： 对文档图像应用多方向的各向异性高斯滤波器。通过使用窄标准差 ( $\sigma_x=1$ ) 并分别在水平 ( $\theta=0$ ) 和垂直 ( $\theta=\pi/2$ ) 方向进行滤波，该方法生成一个响应图，该图突出了分隔区域（连续线条），同时抑制高频文本噪声。生成的掩模会反转非分隔符像素，迫使模型忽略字体和内容。
- 反射诱导的标签变换 (Reflection-Induced Label Transformations)： 应用水平和垂直反射来丰富训练分布。至关重要的是，作者定义了一个封闭标签集，使反射能将不对称类别映射到其对应类别（例如， $C \leftrightarrow \bar{C}$ ， $L \leftrightarrow \bar{L}$ ）或映射到 $Y$ 类，从而确保标签的一致性。旋转和剪切被明确排除在外，因为它们会改变布局的结构语义。
模型架构：
- 系统采用 ConvNeXt-Tiny 作为骨干网络，选择它是由于其归纳偏置（局部性、平移等变性和层次化组合）与基于分隔符驱动的几何结构高度契合。
- 系统采用分阶段微调方法：首先训练分类头，然后以较低的学习率解冻骨干网络，以防止过拟合。
- 输入图像被调整为 $224 \times 224$ 大小，并使用 Otsu 阈值法进行二值化处理。
主动学习协议：
作者通过带有三种采集函数（随机、熵、边际）的主动学习循环评估了标签效率，以确定达到高性能所需的最小标注样本量。

核心贡献

CLC 数据集： 一个全新的、紧凑的高分辨率希伯来语页面数据集，包含八个基于分隔符定义的细粒度布局类别，解决了非矩形历史布局缺乏资源的问题。
新颖的增强策略： 引入了窄各向异性高斯掩模，它通过抑制偶然的文本细节，迫使模型学习全局几何排列，并结合了反射诱导的标签变换，在保持语义一致性的同时扩展了训练分布。
系统性评估： 在严苛的数据稀缺条件下进行的全面评估，包括骨干网络比较、消融实验、外部盲测集测试以及主动学习分析。

结果

骨干网络比较： 在 31 页的测试集上，ConvNeXt-Tiny 实现了 90% 的准确率 和 0.88 的宏 F1 值。其表现显著优于 EfficientNet-B0、VGG16、ResNet-18 和 ViT-B/16（后者得分 $\le$ 45%），证明了在这一低资源、侧重几何的任务中，具有适当归纳偏置的 CNN 优于 Transformer。
消融实验：
- 仅二值化： 32% 准确率（表明简单的二值化是不够的）。
- 二值化 + 翻转： 45% 准确率。
- 二值化 + 掩模： 68% 准确率（证实了该任务是由分隔符驱动的）。
- 完整流水线 (掩模 + 翻转)： 90% 准确率。
- 研究证实，掩模起到了结构保持正则化器的作用，而翻转则提供了必要的差异性。
外部盲测评估： 模型在来自以色列国家图书馆的 36,215 个书籍文件夹（未见数据）的子集上进行了测试。在一个经过人工验证的高置信度子集（160 个样本）上，模型达到了 83.75% 的准确率，展示了对真实世界、未经整理的档案的强大泛化能力。
主动学习： 完整的增强流水线显著提高了标签效率。在熵采集策略下，完整流水线的宏 F1 学习曲线下面积 (AULC) 为 0.61，而基准方法仅为 0.30。

意义与主张
本文声称，通过将学习重点从文本内容转向全局几何结构，可以在严重的标注稀缺情况下实现稳健的复杂历史布局分类。作者认为，标准的图像增强（如旋转、模糊）不足以应对此领域；相反，能够显式保留分隔符拓扑结构的领域感知增强至关重要。

该研究表明：

历史文档的布局分类可以与文本识别解耦，从而作为下游流水线的可靠路由步骤。
所提出的“保留分隔符”策略允许模型在无需大规模标注的情况下，泛化到未见的非矩形布局。
CLC 数据集和所提出的方法论为针对非拉丁语系和复杂手稿结构的低资源历史文档分析研究，提供了一个有针对性的基准。

作者对当前的研究范围保持谦逊，指出该方法目前仅限于印刷希伯来语页面，未来仍需开展工作以将这些方法扩展到手写手稿，并整合脚本类型识别。