기술 요약: 명세 기반 개발에서의 인용 규율 (Citation Discipline)

문제 정의

LLM(대규모 언어 모델)이 자율적으로 소프트웨어를 작성하고 수정하는 에이전트형 코딩 시스템의 등장은 중대한 책임성 격차를 야기한다: 생성된 코드가 환각(hallucination)을 도입하지 않고 지정된 요구사항을 엄격하게 구현했는지 검증하는 문제이다. 이러한 환각은 범위 외 기능, 학습 데이터로부터의 승인되지 않은 임포트, 또는 과잉 엔지니어링(over-engineering) 형태로 나타나며, 이는 기능 테스트는 통과할 수 있으나 보안 또는 컴플라이언스 리스크를 유발한다.

전통적인 요구사항 추적성(예: IEEE 830, DOORS와 같은 도구)은 요구사항을 작업 산출물에 연결하지만, 이러한 방식은 대개 산출물 수준의 수동 방식이며, 빠른 AI 보조 반복 개발에는 적합하지 않다. 세 가지 신흥 명세 기반 개발(SDD) 프레임워크는 서로 다른 철학으로 이를 해결하고자 시도한다:

• traceSDD: 코드와 특정 요구사항 지점을 결합하는 필수적인 인라인 인용(예: # [REQ-XXX.Y.Z])을 강제한다.
• Spec Kit: 산출물 수준의 추적성(사용자 스토리, 수락 기준)을 사용하지만, 인라인 코드 인용은 결여되어 있다.
• OpenSpec: 소스 코드를 직접 주석 처리하지 않고 외부 추적 맵(YAML 사이드카)에 의존한다.

본 연구의 핵심 질문은 모든 코드 라인에 대해 요구사항을 인용하도록 강제하는 것이 구현의 정확성, 출력 결정성(determinism), 그리고 환각 탐지 능력을 향상시키는지, 그리고 이러한 효과가 서로 다른 모델 아키텍처 전반에 걸쳐 일반화될 수 있는지 여부이다.

방법론

저자들은 네 가지 조건(traceSDD cited, traceSDD uncited, Spec Kit, OpenSpec)을 두 가지 서로 다른 프런티어 LLM에 대해 비교하는 두 개의 독립적인 사전 등록된 통제 실증 연구를 수행하였다.

1. 연구 1: Claude Sonnet 4.6을 사용하여 20개의 벤치마크 파이썬 태스크(N=20)를 수행하였으며, 총 240개의 구현체를 생성하였다(태스크당 3회 실행).
2. 연구 2: 8개의 소프트웨어 공학 도메인, 3개의 난이도, 2개의 크기 클래스에 걸친 50개의 새로운 벤치마크 태스크(N=50)를 대상으로 GLM-5-turbo를 사용하여 총 600개의 구현체를 생성하였다.

실험 조건:

• traceSDD (cited): 계층적 REQ-XXX.Y.Z 명세를 사용하며, 비사소한(non-trivial) 라인에 필수적인 인라인 인용을 포함한다.
• traceSDD (uncited): 인라인 인용 없이 동일한 명세를 사용한다(인용 메커니즘의 효과만을 분리하기 위함).
• Spec Kit: 인용 메커니즘이 없는 자연어 명세(사용자 스토리)를 사용한다.
• OpenSpec: 외부 추적 YAML 파일을 포함한 네이티브 역량 명세를 사용한다.

측정 지표:

• 출력 결정성 (Output Determinism): 독립적인 세션 간의 정규화된 주석 제거 코드에 대해 Levenshtein Set Similarity를 사용하는 **어휘 유사도 점수(LSS)**를 통해 측정하였다.
• 환각 탐지 (Hallucination Detection): **추적성 탐지율(TDR)**을 통해 측정하였다. 환각은 가짜 REQ ID를 인용하는 방식(범위 외 함수, 승인되지 않은 임포트, 과잉 엔지니어링)으로 의도적으로 주입되었다. 탐지는 "고아-REQ 체크(orphan-REQ check)"(인용된 ID와 유효한 명세 ID 간의 차집합)를 통해 이루어졌다.
• 기능적 정확성 (Functional Correctness): 그라운드 트루스(ground-truth) 테스트 스위트에 대한 참 양성률(TPR)로 측정하였다.
• 가양성률 (False Positive Rate, FPR): 올바른 구현체에 대한 오경보 빈도를 측정하였다.

주요 기여

1. 최초의 교차 모델 비교: 두 가지 근본적으로 다른 LLM 아키텍처(Transformer/Constitutional AI vs. Autoregressive/Bidirectional) 간의 통제된 비교를 제공하며, 총 70개의 태스크와 840개의 구현체를 다룬다.
2. 인용 격리 발견의 재현: 필수 인라인 인용이 동일한 인용 없는 조건에 비해 출력 결정성을 유의미하게 감소시킨다는 사실을 확인하였으며, 이 결과는 두 모델 모두에서 유지되었다.
3. 포괄적인 하위 그룹 분석: 인용에 따른 결정성 페널티는 쉬운 태스크와 작은 태스크에서 가장 두드러지며, 태스크의 복잡성과 크기가 증가함에 따라 감소함을 밝혀냈다.
4. 자동 환각 탐지: 인용된 traceSDD 조건의 고아-REQ 체크가 86~88%의 높은 탐지율과 0%의 가양성을 달 achieves 함을 입증하였다. 이는 Spec Kit이나 OpenSpec이 도달할 수 없는 능력이다.

주요 결과

1. 출력 결정성 (RQ1)

일관된 트레이드오프가 관찰되었다: 인용은 결정성을 감소시킨다.

• 인용 페널티: 인용되지 않은 조건이 인용된 조건보다 두 모델 모두에서 유의미하게 더 결정적인 출력을 생성하였다 (Claude: $d = -0.76, p = 0.003$; GLM: $d = -0.72, p < 0.001$).
• 프레임워크 비교:
  • **traceSDD (cited)**는 결정성 측면에서 Spec Kit보다 유의미하게 우수하였다 (Claude: $d = 0.47$; GLM: $d = 0.42$).
  • **traceSDD (cited)**는 OpenSpec보다 결정성 면에서 유의미하게 우수하지 않았다 (Claude: $d = 0.18$; GLM: $d = 0.14$).
  • 인용되지 않은(uncited) 조건은 큰 효과 크기와 함께 외부 베이스라인들보다 일관되게 가장 높은 결정성을 달성하였다.
• 하위 그룹 분석: 결정성 페널티는 쉬운 태스크($d = -1.85$)와 작은 태스크($d = -0.95$)에서 가장 컸으나, 어렵거나 큰 태스크에서는 통계적으로 유의미하지 않았다. 이는 단순한 태스크에서 인용 위치의 가변성이 전체 변동성에서 더 큰 비중을 차지함을 시사한다.

2. 환각 탐지 (RQ2)

• 탐지율: 오직 traceSDD (cited) 조건만이 자동 환각 탐지를 가능하게 하였으며, 86.4%(Claude) 및 88.0%(GLM)의 TDR을 달성하였다.
• 대안 모델에서의 탐지 실패: 인용되지 않은 조건(동일한 구조적 명세를 사용했음에도 불구하고), Spec Kit, OpenSpec은 모두 **0%**의 TDR을 기록하였다. 이는 탐지에 있어 단순히 구조화된 명세의 존재가 아니라, 코드 내의 주석 메커니즘이 필요함을 증명한다.
• 가양성: 두 연구의 모든 체크에서 FPR은 **0.0%**였다.
• 기능적 정확성: 모든 조건이 100% TPR을 달성하여, 인용 규율 자체가 기능적 정확성을 저해하지 않음을 확인하였다.

의의 및 주장

본 논문은 SDD 프레임워크에서의 인용 규율이 원칙적인 트레이드오프를 수반함을 확립한다: 자동 환각 탐지를 위해 출력 결정성을 희생하는 것이다.

• 트레이드오프: 필수 인라인 인용은 (모델이 인용을 어디서 그리고 어떻게 할지에 대한 의사결정으로 인한) 어휘적 가변성을 도입하여, 세션 간의 코드 생성 일관성을 감소시킨다. 그러나 바로 이 메커니기 자동화된 검증(고아-REQ 체크)을 가능하게 하여, 범위 확장(scope creep)과 승인되지 않은 기능을 높은 정밀도로 탐지한다.
• 일반화 가능성: 두 가지 별개의 아키텍처(Claude 및 GLM)에서 효과 크기($d \approx -0.72$)와 탐지율이 일관되게 나타난 것은, 이것이 특정 모델의 특성이 아니라 인용 주석 메커니즘의 구조적 속성임을 시사한다.
• 실무적 시사점:
  • 규제가 엄격하거나 고위험군인 도메인(의료, 금융)의 경우, 환각 탐지의 독보적인 능력이 결정성의 완만한 비용보다 중요하므로 필수 인용을 포함한 traceSDD를 권장한다.
  • 검증보다 빠른 프로토타이핑이 우선인 경우, 인용 없는 REQ 포맷 접근 방식을 권장한다. 이는 인용 오버헤드 없이 REQ 포맷의 구조적 앵커링 이점(외부 베이스라인보다 높은 결정성)을 유지하기 때문이다.
  • Spec Kit은 측정된 차원(가장 낮은 결정성, 자동 탐지 불가)에서 가장 취약한 선택지로 식별되었으나, 저자들은 그 워크플로우상의 이점은 다를 수 있음을 인정한다.

저자들은 인용 규율이 결정성을 감소시키기는 하지만, 명세의 정확성이 중요한 프로덕션 환경에서 필수적인 고유의 자동화된 검증 레이어를 제공한다고 결론짓는다. 향후 연구로는 하이브리드 접근 방식과 이를 CI/CD 파이프라인에 통합하는 방안이 제시되었다.