🤖 AI

Five Fatal Assumptions: Why T-Shirt Sizing Systematically Fails for AI Projects

本文指出传统的 T 恤尺码估算法因依赖线性扩展、可重复性等五项在 AI 项目中失效的假设而系统性失灵，并针对大语言模型与多智能体系统的非线性特性，提出了一种基于明确决策门控的“检查点估算”新范式，以帮助团队更有效地规划 AI 项目。

原作者： Raja Soundaramourty, Ozkan Kilic, Ramu Chenchaiah

发布于 2026-02-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Raja Soundaramourty, Ozkan Kilic, Ramu Chenchaiah

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文其实是在讲一个很扎心的道理：我们用来估算传统软件项目的那套老办法（比如给任务贴"T 恤尺码”标签：S、M、L、XL），在搞人工智能（AI）项目时，完全行不通，甚至会误导大家。

想象一下，你以前是盖房子的包工头，现在突然被叫去指挥一群“会思考的机器人”写小说。如果你还拿着盖房子的老规矩去估算，肯定会翻车。

作者把导致翻车的五个致命假设，用大白话和生动的比喻解释如下：

1. 线性思维陷阱：以为“加一倍功能，就加一倍工作量”

传统软件（盖房子）： 就像砌墙。砌 100 块砖要 1 小时，砌 200 块砖大概就要 2 小时。工作量是直线增长的，很 predictable（可预测）。
AI 项目（训练怪兽）： 就像驯服一只野兽。
- 让 AI 从 85% 的准确率提升到 90%，可能只需要多喂点数据；
- 但要从 90% 提升到 95%，你可能需要10 倍的数据、10 倍的算力，甚至发现现在的技术根本做不到。
- 比喻： 传统软件是爬楼梯，一步一个台阶；AI 是爬悬崖，前面很平缓，最后那几米垂直高度，可能需要你造一架直升机才能上去。

2. 经验主义陷阱：以为“以前做过，这次也能照搬”

传统软件（做菜单）： 你以前做过“川菜馆”的菜单，这次做“粤菜馆”的菜单，虽然口味不同，但切菜、炒菜、上菜的流程差不多，经验很有用。
AI 项目（开盲盒）： 每个 AI 项目面对的数据都是全新的“未知大陆”。
- 你做过“客服聊天机器人”，不代表你能搞定“医疗诊断机器人”。因为医疗数据的坑（比如生僻词、隐私、歧义）是以前没见过的。
- 比喻： 以前你熟悉在平地上开车，现在让你去开潜水艇。虽然都是“交通工具”，但海底的压力、暗流和导航方式完全不同。以前的经验不仅没用，还可能让你以为“这很简单”，结果一头扎进海底。

3. 时间换人陷阱：以为“人多力量大，时间就能缩短”

传统软件（搬砖）： 如果搬砖需要 8 小时，你派 8 个人，理论上 1 小时就能搬完（虽然人多嘴杂会慢点，但大体可行）。
AI 项目（等面发酵）： 有些步骤是必须排队的，谁也帮不了。
- 数据没洗干净，模型没法训练；模型没训练好，没法调参。就像等面团发酵，你派 100 个厨师在旁边盯着，面团也不会因为人多而发酵得更快。
- 比喻： AI 项目里有很多“硬性等待时间”。就像煮一锅汤，你加再多勺子去搅，汤也不会因为人多而瞬间熟透。

4. 拆解陷阱：以为“把大任务拆成小块，大家分头干就行”

传统软件（拼乐高）： 你可以让 A 组拼轮子，B 组拼车身，C 组拼窗户，最后组装起来就行。大家互不干扰。
AI 项目（牵一发而动全身）： AI 系统里的数据、模型、提示词（Prompt）是紧紧缠绕在一起的。
- 你改了一下数据格式，整个模型的逻辑就崩了；你改了一个提示词，所有代理（Agent）的对话都乱了。
- 比喻： 传统软件像乐高积木，拆开了能独立拼；AI 像一团乱麻的耳机线，你动其中一根线，整团线都会跟着乱，根本没法分头处理。

5. 完工陷阱：以为“测试通过了，就算做完了”

传统软件（修车）： 车修好了，引擎能转，刹车灵了，这就叫“完工”。标准很明确。
AI 项目（走钢丝）： AI 的“完工”标准是飘忽不定的。
- 今天模型准确率达标了，明天法务部说“它偶尔会胡说八道（幻觉）”，不行，重做！
- 后天安全部门说“它有点偏见”，不行，再调！
- 比喻： 传统软件是射箭，射中靶心就算赢；AI 是在移动的靶子上射箭，靶子（安全标准、法律要求、用户体验）一直在动，你刚射中，靶子就跑了。

那该怎么办？作者提出了“检查点估算法” (Checkpoint Sizing)

既然不能一开始就定死时间（因为全是未知数），那就边走边看，分阶段决策。

想象成“探险队”模式：
不要一开始就承诺“我们要花 3 个月穿越这片森林”。
而是设定几个检查点：

第一站（数据检查）： 先去看看路（数据）好不好走？如果路断了（数据质量差），那就别硬冲，要么修路，要么换路线。
第二站（测试检查）： 试着走一段，看看机器人会不会迷路？如果迷路率太高，就停下来调整装备。
第三站（安全检查）： 看看有没有遇到野兽（安全隐患）？如果有，得先解决安全问题。

核心思想：

不要在出发前就发誓“我们 3 个月一定到”。
要每到一个检查点，根据实际看到的情况，重新评估：“嘿，前面路不好走，我们可能得花 6 个月，或者干脆换个方向。”

总结

这篇论文就是给项目经理和老板们的一剂清醒剂：
别再用盖房子的老黄历来管 AI 项目了。 AI 充满了不确定性，就像在迷雾中开车。传统的"T 恤尺码”估算法只会让你误判路况，导致项目延期或失败。
正确的做法是： 承认未知，设立检查点，根据实际反馈不断调整计划，把“承诺”变成“假设”，用证据来指导决策。

论文技术总结：五大致命假设——为何 T 恤尺码法在 AI 项目中系统性失效

1. 问题背景 (Problem)

在软件开发领域，T 恤尺码法（T-shirt Sizing，将工作量分为 S/M/L/XL）因其简单性和相对性而被广泛采用。然而，当将其应用于人工智能（AI），特别是涉及大语言模型（LLMs）和多智能体系统（Multi-agent Systems）的项目时，该方法往往导致严重的估算偏差。

传统估算失败并非因为团队能力不足，而是因为 AI 开发的内在特性与传统软件截然不同。AI 项目常出现工期大幅延期、技术瓶颈不可预见等问题。其核心矛盾在于：传统估算模型基于线性、可重复和确定性的假设，而 AI 开发具有非线性、不可预测和概率性的特征。

2. 方法论 (Methodology)

作者通过结构化合成与实证文献分析，识别并验证了导致估算失败的五个核心假设：

假设识别：梳理敏捷估算（如故事点、计划扑克）的隐含前提，并将其与 ML/AI 工作流的特征（数据依赖、实验迭代、技术债务）进行对比。
实证锚定：将每个假设与最新的实证研究（包括 arXiv 预印本和软件工程研究）进行映射，重点关注多智能体系统行为、扩展性原则及多轮对话的不稳定性。
评估标准：每个假设需满足三个条件才被归类为“致命”：
- 在传统软件中成立。
- 在 AI 语境下被系统性违反。
- 违反该假设会导致实质性的估算错误（如范围低估、集成低估或工期压缩过度）。
证据收集：引用了关于多智能体失败模式、扩展定律及 LLM 集成系统估算挑战的最新文献作为支撑。

3. 五大致命假设及其失效机制 (Key Contributions & Results)

论文详细分析了五个导致 T 恤尺码法失效的假设，并提供了具体的量化证据：

假设 1：线性努力扩展 (Linear Effort Scaling)

传统观点：工作量与功能规模呈线性关系（如功能翻倍，工作量翻倍）。
AI 现实：遵循指数级扩展曲线。
- 性能提升代价：将模型准确率从 85% 提升到 95% 可能需要 10 倍的努力，甚至受限于当前方法无法实现。
- 多智能体复杂度：智能体数量 $N$ 增加时，交互复杂度呈组合爆炸式增长，公式为 $N(N-1)$ 。例如，10 个智能体的交互测试量是 2 个智能体的 45 倍，而非 5 倍。
- 结果：增量性能提升需要不成比例的数据、算力和迭代成本。

假设 2：基于过往经验的可重复性 (Repeatability from Prior Experience)

传统观点：类似的任务具有相似的工作量，历史数据可指导未来估算。
AI 现实：每个数据集都是未知领域。
- 未知未知（Unknown Unknowns）：数据污染、偏见等问题往往仅在训练或评估阶段暴露。
- 上下文退化：研究表明，在多轮对话中，LLM 的平均性能比单轮对话下降 39%。随着对话轮次增加，智能体会出现“目标遗忘”和幻觉，这种不稳定性无法通过类比过往项目来预测。

假设 3：努力与工期的可替代性 (Effort-Duration Fungibility)

传统观点：增加人力可以线性压缩工期（如 2 人做 4 周的工作，4 人做 2 周）。
AI 现实：存在不可压缩的串行依赖。
- 流程瓶颈：数据收集→清洗→训练→超参调优→评估→部署，这些阶段必须串行，无法并行。
- 延迟下限：多智能体流水线存在固有的延迟下限（Latency Floor），增加人力无法减少推理时间或数据预处理时间。

假设 4：任务可分解性 (Task Decomposability)

传统观点：大型项目可分解为并行子任务，最后集成。
AI 现实：全栈紧密耦合。
- 级联效应：数据管道的微小变更可能导致模型重训；提示词（Prompt）逻辑依赖特定的数据 Schema。
- 资源竞争：多智能体共享有限的上下文窗口（Context Window），一个智能体的冗长输出可能导致其他智能体“饥饿”，这种全局状态耦合使得独立估算组件失效。

假设 5：确定性的完成标准 (Deterministic Completion Criteria)

传统观点：测试通过即完成，定义清晰且稳定。
AI 现实：移动的目标（Moving Goalposts）。
- 概率性完成：即使达到准确率目标，可能因法律/伦理审查（如幻觉率、偏见）被否决。
- 死循环风险：多智能体系统可能陷入无限修正循环（如 Supervisor 拒绝 Worker 输出，Worker 重试，再次被拒绝），消耗预算而无进展。
- 护栏震荡：调整安全护栏（Guardrails）往往需要在“过度保守”和“不安全”之间反复迭代，这是一个隐藏的巨大成本。

4. 解决方案：检查点估算 (Checkpoint Sizing)

针对上述问题，作者提出了检查点估算（Checkpoint Sizing）作为替代方案。这是一种以人为中心、迭代式的估算方法，核心在于显式决策门（Explicit Decision Gates）。

核心原则：
- 基于证据的重估：在每个阶段结束时，根据实际构建和学习的成果重新评估范围、时间和可行性，而非依赖初始假设。
- 不确定性承认：用置信区间代替点估算。
- 转向选项：在检查点设置明确的决策点（继续、转向、缩减范围或终止）。
实施流程（5 个关键门）：
1. Gate A - 数据就绪：数据质量、PII 策略、漂移风险评估。
2. Gate B - 评估工具链：基准分数、回归测试、未知未知数的发现。
3. Gate C - 安全、可靠性与控制：幻觉模式分析、多轮可靠性、终止控制机制。
4. Gate D - 成本与延迟预算：吞吐量模型、Token 预算、延迟敏感性分析。
5. Gate E - 运营化：监控仪表板、漂移检测、生产环境定义。
案例演示：一个初始估算为“大（6-8 周）”的 RAG 项目，经过 5 个检查点后，因数据清洗、评估工具构建、安全护栏调整等发现，修正为“特大（12-16 周）”，且风险登记册更加明确。

5. 意义与影响 (Significance)

理论贡献：系统性地解构了传统软件工程估算模型在 AI 领域的适用性边界，指出了线性、可重复、可并行等假设在 AI 语境下的根本性失效。
实践指导：为工程经理、技术负责人和产品所有者提供了具体的操作框架（检查点估算），帮助团队避免盲目乐观的估算，识别“未知未知”风险。
行业警示：强调了 AI 项目中的“滑移”（Slippage）通常不是执行失败，而是问题本身的属性。简单的缓冲（Buffer）无法解决指数级增长和紧密耦合带来的复杂性。
未来方向：呼吁建立 AI 项目估算与实际结果的基准数据集，并开发集成到项目管理工具（如 Jira）中的自动化工具，以支持这种基于证据的迭代估算流程。

总结：该论文有力地论证了 T 恤尺码法在 AI 项目中失效的深层原因，并提出了从“基于类比的前瞻性规划”转向“基于证据的迭代性发现”的范式转变，对于管理复杂的 AI 项目具有极高的参考价值。