🤖 AI

Five Fatal Assumptions: Why T-Shirt Sizing Systematically Fails for AI Projects

이 논문은 전통적인 소프트웨어 개발에 효과적이었던 T-셔츠 추정 기법이 비선형적 특성으로 인해 AI 프로젝트에서는 체계적으로 실패한다는 다섯 가지 가정을 분석하고, 이를 극복하기 위해 학습 기반의 의사결정 지점을 도입한 '체크포인트 추정 (Checkpoint Sizing)' 방식을 제안합니다.

원저자: Raja Soundaramourty, Ozkan Kilic, Ramu Chenchaiah

게시일 2026-02-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Raja Soundaramourty, Ozkan Kilic, Ramu Chenchaiah

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"AI 프로젝트를 계획할 때, 우리가 오랫동안 써온 'T 자 사이즈 (S, M, L, XL)' 방식이 왜 완전히 망가져버리는지"**를 설명합니다.

기존 소프트웨어 개발에서는 "작은 기능은 S, 큰 기능은 L"이라고 분류하면 대략적인 기간과 비용을 맞출 수 있었습니다. 하지만 인공지능 (AI), 특히 최신 거대 언어 모델 (LLM) 을 다룰 때 이 방식은 재앙을 부릅니다.

논문은 이 실패를 **"5 가지 치명적인 착각"**으로 정리하고, 대신 **"체크포인트 방식"**을 제안합니다.

🧥 왜 T 자 사이즈 (T-Shirt Sizing) 는 AI 에게 실패할까요?

기존 방식은 **"모든 것이 선형적이고 예측 가능하다"**는 5 가지 가정에 기반합니다. 하지만 AI 는 마치 생물처럼 예측 불가능하게 변합니다.

1. 착각: "기능을 두 배 늘리면, 일도 두 배만 든다." (선형적 확장)

기존 방식: 레고 블록을 쌓을 때, 블록을 2 배 더 사면 쌓는 시간도 2 배만 걸립니다.
AI 의 현실: AI 는 지수함수처럼 변합니다.
- 예: AI 의 정확도를 85% 에서 90% 로 올리기는 쉽지만, 99% 로 올리려면 데이터와 계산 능력, 시행착오가 10 배 이상 필요합니다.
- 비유: 산을 오를 때 정상 (100% 정확도) 에 가까워질수록 공기가 희박해져서, 마지막 1km 를 오르는 데 평지 10km 를 걷는 것 같은 힘이 듭니다.

2. 착각: "전에 해본 경험이 이번에도 통한다." (경험의 반복성)

기존 방식: "지난번에 카페 앱 만들었으니, 이번 식당 앱도 비슷하게 2 주 걸리겠지."
AI 의 현실: 데이터는 매번 새로운 우주입니다.
- 예: 인사팀용 챗봇을 만들었다 해서, 기술지원 챗봇을 쉽게 만들 수 없습니다. 데이터의 성격, 말투, 예외 상황 (Edge Case) 이 완전히 다릅니다.
- 비유: "지난번에 서울에서 부산까지 운전했으니, 이번엔 알래스카까지 운전해도 비슷할 거야"라고 생각하는 것과 같습니다. 길은 같아도 도로 상태와 날씨 (데이터) 가 완전히 다릅니다.

3. 착각: "사람을 더 뽑으면 기간을 반으로 줄일 수 있다." (노력 - 기간 교환 가능성)

기존 방식: 8 주 걸리는 일을 4 주에 끝내려면 개발자 2 명을 더 뽑으면 됩니다.
AI 의 현실: 대기 시간 (Latency) 과 순차적 과정은 사람을 더 뽑아도 줄어듭니다.
- 예: 데이터를 모으고, 학습시키고, 검증하는 과정은 순서대로 진행되어야 합니다. 사람이 아무리 많아도 "데이터가 준비될 때까지" 기다려야 합니다.
- 비유: 임산부가 9 개월 만에 아이를 낳는다고 해서, 산부인과 의사를 9 명 더 고용하면 1 개월 만에 아이를 낳을 수 있는 것이 아닙니다.

4. 착각: "작업은 잘게 쪼개서 동시에 할 수 있다." (작업 분해)

기존 방식: UI 팀, 백엔드 팀, 데이터 팀이 따로따로 일하다가 마지막에 합칩니다.
AI 의 현실: 모든 것이 얽혀 있습니다 (Tight Coupling).
- 예: 데이터 하나를 수정하면 AI 모델이 다시 학습되어야 하고, 프롬프트도 다시 짜야 합니다. 한 팀의 작은 변화가 전체 시스템에 파장을 일으킵니다.
- 비유: 레고처럼 부품을 따로 조립하는 게 아니라, 생체 장기처럼 심장을 건드리면 뇌와 폐까지 모두 반응하는 상태입니다.

5. 착각: "작업이 끝났는지 명확하게 알 수 있다." (결정적 완료 기준)

기존 방식: "테스트 통과, 코드 완료 = 끝 (Done)"
AI 의 현실: "끝"이라는 기준이 계속 움직입니다 (Moving Goalpost).
- 예: 기술적으로 완벽해도, "법적 문제가 있다"거나 "편향된 답변을 한다"는 이유로 다시 수정해야 합니다. AI 는 상황에 따라 엉뚱한 말 (할루시네이션) 을 할 수 있어, 언제 끝날지 모릅니다.
- 비유: 미끄러운 얼음 위에서 달리는 경주처럼, 목표선 (안전 기준) 이 계속 뒤로 밀려나서 언제 도착할지 알 수 없습니다.

💡 해결책: "체크포인트 사이즈 (Checkpoint Sizing)"

이제 T 자 사이즈를 버리고, 등산에서의 '휴식점 (Checkpoint)' 방식을 사용해야 합니다.

아이디어:
프로젝트 시작 전에 "전체 기간을 6 개월로 정하자!"라고 확정하지 마세요. 대신 중요한 이정표를 두고, 그 지점에 도달했을 때 실제 상황을 보고 다시 계획을 세웁니다.

추천하는 5 단계 체크포인트 (게이트):

데이터 준비 게이트: "우리가 쓸 데이터가 정말 깨끗한가? (25% 가 망가져 있다면, 계획 수정!)"
평가 도구 게이트: "AI 가 잘하는지 측정할 도구가 있는가? (잘못된 기준이라면, 다시 설계!)"
안전성 게이트: "AI 가 위험한 말을 하지 않도록 막을 수 있는가? (보안 문제가 발견되면, 추가 시간 필요!)"
비용/속도 게이트: "사용자가 기다리지 않을 만큼 빠른가? (너무 느리면, 아키텍처 변경!)"
운영 게이트: "실제 서비스에 넣었을 때 감시할 시스템이 있는가?"

핵심 메시지:

"우리는 처음에 모든 것을 알 수 없습니다. 작은 단계마다 멈춰서 '지금까지 배운 것'으로 계획을 수정하는 것이, 처음부터 완벽하게 예측하려는 것보다 훨씬 안전하고 현실적입니다."

📝 한 줄 요약

"AI 프로젝트는 레고 조립이 아니라, 미지의 바다 항해입니다. T 자 사이즈 (S, M, L) 로 미리 항로를 정하지 말고, 항해 중마다 나침반 (체크포인트) 을 보고 방향을 수정하세요."

1. 문제 제기 (Problem Statement)

소프트웨어 공학에서 수십 년간 애자일 추정 기법으로 널리 사용되어 온 티셔츠 사이즈 (T-shirt sizing, S/M/L/XL 분류) 는 전통적인 소프트웨어 개발에는 효과적이지만, 대규모 언어 모델 (LLM) 과 멀티 에이전트 시스템을 포함하는 AI 프로젝트에 적용할 경우 체계적으로 잘못된 결과를 초래합니다.

핵심 문제: 팀의 역량 부족이나 실행 실패가 아니라, 전통적인 소프트웨어 개발의 정신 모델 (Mental Model) 이 AI 개발의 비선형적이고 불확실한 본질과 맞지 않기 때문입니다.
현상: 단순한 '챗봇' 구축으로 시작하는 프로젝트가 데이터 품질, 평가 장벽, 예측 불가능한 다중 턴 대화 등의 문제로 인해 수개월 지연되거나 기술적 한계에 부딪히는 경우가 빈번합니다.
원인: 티셔츠 사이즈 추정이 전제로 하는 5 가지 기본 가정들이 AI 컨텍스트에서는 붕괴됩니다.

2. 연구 방법론 (Methodology)

저자들은 티셔츠 사이즈 추정의 5 가지 기본 가정이 AI 개발 환경에서 왜 실패하는지를 체계적으로 분석하기 위해 다음과 같은 방법을 사용했습니다.

가정 도출: 애자일 추정 기법 (스토리 포인트, 플래닝 포커 등) 의 암묵적 전제와 AI 워크플로우 (데이터 의존성, 실험적 반복, 기술 부채) 간의 불일치를 분석하여 5 가지 가정을 도출했습니다.
실증적 근거 기반 검증: 각 가정의 실패 원인을 최신 연구 논문 (arXiv 포함) 과 실증 데이터에 기반하여 검증했습니다. 특히 멀티 에이전트 시스템의 실패 모드, 에이전트 시스템의 확장성 (Scaling), 다중 턴 대화의 비신뢰성 등을 인용했습니다.
평가 기준:
- 전통적 소프트웨어에서의 유효성
- AI 컨텍스트에서의 체계적 위반 여부
- 추정 오류에 미치는 실질적 영향
  위 세 가지 기준을 모두 만족하는 가정을 **'치명적 가정 (Fatal Assumptions)'**으로 분류했습니다.

3. 주요 기여 및 5 가지 치명적 가정 (Key Contributions & 5 Fatal Assumptions)

이 논문은 전통적인 소프트웨어와 AI 개발의 근본적 차이를 보여주는 5 가지 가정을 식별하고, 각각이 왜 AI 에서 실패하는지를 기술적으로 증명했습니다.

가정 1: 선형적인 노력 확장 (Linear Effort Scaling)

전통적 모델: 기능이 두 배가 되면 노력도 두 배가 된다.
AI 의 실패: AI 는 지수 함수적 곡선을 따릅니다. 정확도를 85% 에서 95% 로 높이는 것은 단순한 단계가 아니라 데이터, 컴퓨팅, 반복 실험의 기하급수적 증가를 요구합니다.
증거: 멀티 에이전트 시스템에서 에이전트 수 ( $N$ ) 가 증가할 때 상호작용 복잡도는 $N(N-1)$ 로 **조합적 (Combinatorial)**으로 증가하며, 특정 임계점 (약 45% 성능) 을 넘으면 성능이 오히려 저하되거나 오류가 증폭되는 비선형 구간이 존재합니다.

가정 2: 이전 경험에서의 반복성 (Repeatability from Prior Experience)

전통적 모델: 유사한 작업을 이전 경험으로 70-80% 신뢰도로 추정 가능.
AI 의 실패: 모든 데이터셋은 미지의 영역입니다. 도메인, 데이터 분포, 엣지 케이스 밀도가 달라 이전 프로젝트의 경험이 적용되지 않습니다. 또한, 다중 턴 대화에서 LLM 은 39% 의 평균 성능 저하와 컨텍스트 소실 (State Drift) 을 겪어 "알지 못하는 미지 (Unknown Unknowns)"가 개발 후기 단계에 나타납니다.

가정 3: 노력과 기간의 대체 가능성 (Effort-Duration Fungibility)

전통적 모델: 인력을 늘리면 기간을 단축할 수 있음 (브룩스의 법칙 예외).
AI 의 실패: AI 개발에는 회복 불가능한 순차적 의존성이 존재합니다. (데이터 수집 → 정제 → 모델 학습 → 하이퍼파라미터 튜닝 → 평가). 컴퓨팅 사이클은 인력 증가로 압축되지 않으며, 멀티 에이전트 파이프라인의 지연 시간 (Latency) 은 에이전트 수에 비례하여 하한선 (Floor) 이 존재합니다.

가정 4: 작업의 분해 가능성 (Task Decomposability)

전통적 모델: 대규모 프로젝트를 병렬 작업으로 분해 가능.
AI 의 실패: 데이터 엔지니어링, 모델 아키텍처, 프롬프트 엔지니어링은 **강하게 결합 (Tight Coupling)**되어 있습니다. 데이터 파이프라인의 작은 변경이 모델 재학습을 유발하거나, 공유된 컨텍스트 윈도우 (Token) 에서 한 에이전트의 과도한 출력으로 인해 다른 에이전트의 성능이 저하되는 등 시스템 전체에 연쇄적인 재작업 (Cascading Rework) 을 일으킵니다.

가정 5: 결정론적 완료 기준 (Deterministic Completion Criteria)

전통적 모델: 테스트 통과 및 명세 충족 시 '완료'.
AI 의 실패: 완료 기준이 **확률적 (Probabilistic)**이고 이동합니다. 초기 정확도 목표 달성 후에도 법적/윤리적 문제 (할루시네이션, 편향) 가 발견되거나, 에이전트 간의 무한한 수정 루프 (Infinite Correction Loop) 가 발생하여 프로젝트가 다시 XL 규모로 돌아갈 수 있습니다.

4. 결과 및 제안된 대안 (Results & Proposed Alternative)

기존의 티셔츠 사이즈 추정은 AI 프로젝트의 불확실성을 단순한 버퍼 (Buffer) 로 덮을 수 없음을 증명했습니다. 이에 저자들은 **체크포인트 사이징 (Checkpoint Sizing)**이라는 새로운 방법론을 제안합니다.

체크포인트 사이징의 핵심:
- 초기 추정을 '약속'이 아닌 '가설'로 간주합니다.
- 개발 과정에서 학습한 사실 (실증 데이터) 에 기반하여 범위를 재평가하는 **명시적 의사결정 게이트 (Explicit Decision Gates)**를 도입합니다.
구현 절차 (게이트 예시):
1. Gate A (데이터 준비성): 데이터 품질, PII 정책, 드리프트 리스크 확인.
2. Gate B (평가 하네스): 자동화된 평가 파이프라인, 금표 (Gold Set), 베이스라인 점수 확보.
3. Gate C (안전성 및 신뢰성): 할루시네이션 모드 분석, 안전성 정책, 종료 루프 제어.
4. Gate D (비용 및 지연 시간): 토큰 예산, 지연 시간 SLO, 캐싱 전략 검증.
5. Gate E (운영화): 모니터링 대시보드, Canary 배포 계획, 정의된 '완료 (Definition of Done)' 기준.
효과: 각 게이트를 통과할 때마다 추정치는 경험적 증거에 기반하여 수정되며, 프로젝트의 지속 여부 (Proceed), 방향 전환 (Pivot), 축소 (Reduce Scope), 또는 종료 (Terminate) 에 대한 명확한 의사결정이 이루어집니다.

5. 의의 및 결론 (Significance & Conclusion)

실무적 의의: 엔지니어링 관리자, 기술 리더, 제품 소유자에게 AI 프로젝트 계획 시 기존의 애자일 추정 도구가 왜 실패하는지 이해하고, 불확실성을 관리할 수 있는 새로운 프레임워크를 제공합니다.
핵심 통찰: AI 프로젝트 실패는 팀의 실수가 아니라, **문제의 본질 (비선형성, 데이터 의존성, 확률적 결과)**에 기인합니다. 따라서 과거의 경험을 맹신하는 대신, 개발 과정에서 얻은 구체적인 증거 (Artifacts) 에 기반하여 점진적으로 범위를 재정의하는 접근법이 필수적입니다.
향후 과제: 체크포인트 사이징의 실증적 검증, 프로젝트 관리 도구 (Jira 등) 와의 통합, 도메인별 (의료, 금융 등) 적응, 그리고 완전 자율 에이전트 시스템에 대한 확장 연구가 필요합니다.

이 논문은 AI 프로젝트 관리의 패러다임을 **"선형적 계획"에서 "반복적 발견 (Iterative Discovery)"**으로 전환해야 함을 강력하게 주장하며, 이를 위한 구체적인 방법론을 제시합니다.