📊 统计学

Attractor strength identifies classifier label geometry as construct- irrelevant variance in machine-scored developmental drawing assessment

本研究表明，在机器评分的发育性绘画评估中，绘制特定对象的感知难度很大程度上是由源自评分流水线分类器标签几何结构的构念无关方差驱动的，而非源于儿童实际的发育能力，从而导致单提示词评分变得不可靠，并使得为了实现有效的跨流水线比较而必须使用吸引子调整度量。

原作者： Rafat Saleh Madani

发布于 2026-10-13

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Rafat Saleh Madani

原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

一个世纪以来，心理学家们一直认为儿童的绘画是其心灵的直接窗口。这个理念简单而持久：如果你让一个孩子画一个人或一座房子，那幅素描的质量就会揭示其大脑发育的程度。这种信念推动了数十年的测试，教育者和临床医生通过观察儿童的艺术作品来评估其智力或心理健康。一直以来的假设是，绘画是儿童的中性反映，而他们被要求绘制的具体物体——无论是猫、树还是汽车——并不重要。物体只是一个提示，是一个让儿童投射自身能力的空白画布。但如果物体本身并非中性呢？如果要求儿童绘制的具体事物对得分的影响超过了儿童自身发育的影响呢？

一项新的研究通过现代计算机视觉的角度，挑战了这一延续了一个世纪的假设。研究人员收集了由8,000多名两至十岁儿童创作的37,770幅绘画的大规模集合。这些儿童被要求绘制48种不同的物体，范围涵盖了像猫和鲸鱼这样的动物，以及椅子和剪刀之类的日常用品。研究人员没有使用人类专家来评分，而是使用了两种不同的计算机程序来对这些绘画进行评分。这些程序经过训练可以识别素描，并根据绘画与目标物体的匹配程度分配分数。其目的是观察该分数究竟是真实反映了儿童的技能，还是在秘密地受物体本身难度的驱动。

结果令人震惊。当研究人员拆解数据时，他们发现儿童所绘制的物体比绘制该物体的儿童本身更为重要。事实上，特定类别的物体对得分变化的贡献，甚至超过了儿童的年龄或能力。为了直观理解，绘制“蜗牛”与绘制“老虎”之间的难度差异，相当于儿童自然发育过程中四到七年的差距。如果一个孩子画的是蜗牛，他得到的得分看起来会比一个画老虎的孩子更年长、更熟练，即便两名儿童的年龄和能力都完全相同。计算机程序不仅仅是在测量儿童，它还深受特定提示的影响。

研究人员进行了更深入的调查，以了解为何会出现这种情况。他们检查了结果是否仅仅是因为某些物体比其他物体更难画，或者是因为儿童更频繁地练习绘制某些东西。他们调整了得分，以将儿童描摹形状的能力、绘画花费的时间以及对物体的熟悉程度纳入考量。即使在进行了这些调整之后，物体仍然主导着得分。该研究排除了这仅仅是运动技能或练习问题。相反，问题在于计算机程序本身的工作方式。

用于为绘画评分的计算机程序在其设计中内置了一种隐藏的偏见。它们并不将所有物体视为等同出现的可能性。有些物体，比如蜗牛，是计算机的“吸引物”；程序天生倾向于在观察任何绘画时都将其识别为蜗牛。而其他物体，比如老虎，则更难被程序识别，因此除非绘画非常完美，否则程序很少会赋予该标签。这意味着，一个画蜗牛的孩子之所以获得高分，仅仅是因为计算机渴望识别出“蜗牛”；而一个画老虎的孩子得分较低，是因为计算机对此持谨慎态度。这种偏见是计算机内部逻辑的一种属性，而非儿童能力的问题。这是一种在心理测试中从未见过的“不公平”，即评分工具本身制造了难度。

这一发现对于我们评估儿童的方式具有重大意义。研究表明，利用单一绘画来判断儿童的发展是不可靠的。如果一个孩子被要求绘制一个物体，其得分很可能更多地取决于该物体的难度，而非其真实的思维。要获得一个可以用于个体决策的可靠分数，一个孩子需要绘制26到32个不同的物体。这远超目前任何测试的要求。研究人员还发现，物体的难度并非固定不变的事实。对于一个计算机程序来说，画一只蜗牛可能很容易，但对于另一个程序来说可能很难，这取决于该特定程序的构建方式。这意味着，“常模表”（即用于将儿童得分与其他儿童进行比较的列表）无法被信任能跨越不同的测试系统发挥作用。

最终，这项研究揭示了我们原以为正在窥视的窗口，实际上是一个扭曲视角的框架。一个孩子获得的得分是三者的混合体：儿童的能力、所绘物体以及计算机的偏见。研究人员首次展示了如何将计算机的偏见从儿童的能力中分离出来。通过测量一个计算机程序自然倾向于某些标签的程度，他们可以调整得分以消除这种人为的难度。这种调整不会改变儿童的原始得分，但它改变了得分的含义。它允许研究人员在不受计算机偏好干扰的情况下，观察到儿童真实的成长发育。教训是显而易见的：要通过艺术来理解一个孩子的内心，我们必须首先理解我们用来衡量的工具。

技术摘要：吸引力强度识别分类器标签几何结构为构念无关方差

1. 问题陈述

本文探讨了机器评分发育绘图评估中一个根本性的效度威胁：即假设绘图分数反映的是儿童的认知发育，而非儿童被要求绘制的具体物体（刺激物）。虽然经典文献和计算文献都将绘图提示视为中性的载体，但作者认为，物体类别具有内在属性（例如：部件数量、规范视角、与其他物体的相似性），这些属性会系统性地影响评分。

在机器学习领域，分类器已知存在偏斜的标签先验（例如：CLIP 继承了网络规模的偏差），但这尚未与行为科学中的测量效度联系起来。本研究指出，如果刺激物相关的方差超过或等同于儿童相关的方差，那么该分数就不是对儿童特征的直接度量。此外，如果“物体难度”实际上是评分工具的标签几何结构（label geometry）而非指称对象（referent）的属性，那么标准的常模化实践（难度表）在不同的评分流水线之间是不具备可迁移性的。

2. 研究方法

数据来源：
研究使用了 KidDraw 语料库，该语料库包含来自 8,044 名儿童（年龄 2–10 岁）的 37,770 幅绘图，涵盖 48 个物体类别。语料库包括每节课的视觉运动控制指数（形状描摹）。研究应用了两个独立的机器视觉评分流水线：

CLIP 流水线： 基于 CLIP 嵌入（零样本、大规模网络预训练）。
VGG 流水线： 基于在 ImageNet 上预训练的 VGG 嵌入（在平衡的绘图子集上进行训练）。

统计建模：
作者采用了交叉分类线性混合模型（交叉分类随机效应），其中儿童和物体类别是交叉而非嵌套的关系。这允许分别识别方差分量：

$u(i)$ : 儿童效应 ( $\sigma^2_C$ )
$v(k)$ : 物体类别效应 ( $\sigma^2_K$ )
$\epsilon(i,j,k)$ : 残差误差 ( $\sigma^2_e$ )

主要的关注指标是刺激物与儿童的方差比 ( $R = \sigma^2_K / \sigma^2_C$ )。

关键指标与调整：

发育位移指数 (DDI)： 将刺激物难度（以对数几率表示）重新缩放为以年为单位的实际发育年龄（通过估计的年龄斜率 $\beta_{age}$ ）。
协变量调整： 模型针对视觉运动技能、绘画投入程度（笔画数、持续时间、墨水使用）以及类别熟悉度进行了调整。
吸引力强度 ( $A(k)$ )： 一个新定义的指标，定义为类别 $k$ 从所有其他类别 $i \neq k$ 的绘图中吸收的平均概率质量。这隔离了分类器的标签几何结构（偏差）与儿童对目标物体的实际呈现。
概括理论 (G-Theory)： 通过模拟单提示和多提示测试集进行决策研究，以计算信赖系数 ( $\Phi$ ) 和年龄排序误差率。

3. 关键结果

方差分解 (Q1 & Q2)：

物体类别对评分方差的贡献超过了儿童。在 CLIP 流水线下，比例 $R$ 为 1.65；在 VGG 流水线下，比例为 1.60。
在针对视觉运动技能、投入度和熟悉度进行调整后，这种不对称性进一步加强（比例 > 2.0），表明控制儿童层面的因素并不能减轻刺激物效应。
DDI： 一个标准差的物体难度相当于 4.4 到 7.3 年的实际发育年限。最易类与最难类之间的范围对应着 16.7 到 24.4 年的表观发育差异，超过了样本的整个年龄跨度。

方差机制 (Q5)：

流水线解离： 虽然两个流水线在刺激物依赖性和发育敏感性的量级上达成一致，但它们对于哪些类别属于“困难”类别却完全不同（类别难度估计值的相关性 $r = 0.205, p = .166$ ）。
吸引力强度： $A(k)$ 是评分流水线的稳定属性（CLIP 的半数拆分相关性 $r = 1.00$ ）。它解释了 CLIP 下类别效应中 54.3% 的方差。
揭示 (Unmasking)： 当类别效应针对吸引力强度进行残差化处理后，两个流水线之间剩余的“指称物固有”难度的相关性从不显著（ $r = 0.205$ ）上升为显著（ $r = 0.396, p = 0.006$ ）。这证实了很大一部分表观物体难度实际上是工具的人为产物。

测量成本 (Q4)：

信度： 单提示评估的绝对信赖系数仅为 0.11 至 0.14。
提示需求： 要达到 0.80 的信度，需要 26 到 32 个提示。
误差率： 在单提示情境下，由于提示分配的原因，大龄儿童（7–10 岁）获得比小龄儿童（2–4 岁）更低分数的频率约为 34%。

4. 主要贡献

量化刺激物主导地位： 研究证明，在机器评分的绘图评估中，刺激物（物体）解释的方差比儿童更多，挑战了这些工具的核心假设。
识别标签几何结构为构念无关方差 (CIV)： 论文指出“吸引力强度”（分类器标签几何结构）是主要的构念无关方差来源。研究显示，“难度”往往是分类器投放概率质量的位置属性，而非物体本身的属性。
常模的非可迁移性： 研究结果证明，从一个评分流水线推导出的难度常模无法迁移到另一个流水线，使得标准的跨研究比较变得无效。
方法论修正： 作者提出了并验证了“经吸引力调整后的”类别效应。通过移除流水线特定的吸引力成分，揭示了真实的、与评分器无关的指称物效应。
G-理论的应用： 研究将概括理论应用于绘图任务，揭示了单提示施测在进行个体水平决策时在统计学上是站不住脚的。

5. 意义与主张

本文声称，当前的机器评分绘图评估将三个叠加因素混为一谈：儿童、指称物以及评分工具。作者认为，工具的标签几何结构是第二个最大的可识别方差来源，且往往主导了儿童的贡献。

其意义在于证明了：

效度威胁： “窗口”（物体）所做的工作比“主体”（儿童）更多，而这部分工作的很大一部分来自于“框架”（分类器的偏差）。
实践必要性： 难度常模表并非固定常数，而是特定于流水线的产物。如果不进行吸引力调整而直接报告原始类别效应，会导致研究结果无法复现。
补救措施： 该领域必须报告经吸引力调整后的类别效应，并将提示视为随机因子（交叉分类设计）而非固定项目。作者提供了使用分类器已生成的概率矩阵来计算这些调整的代码。

研究结论认为，虽然绘图任务包含稳健的发育信号，但目前将单一分数作为儿童特征度量的做法是有缺陷的。将儿童、指称物和工具组件分离，不仅是可选的，而且是实现有效测量的先决条件。