기술 요약: 자기회귀의 지평을 넘어 (Beyond the Autoregressive Horizon)

1. 문제 정의: 자기회귀적 병목 현상 (The Autoregressive Bottleneck)

본 논문은 현재 소프트웨어 공학을 위한 대규모 언어 모델(LLM)에서 나타나는 근본적인 구조적 한계, 즉 자기회귀(Autoregressive, AR) 다음 토큰 예측 패러다임의 지배력을 지적한다. AR 모델은 자연어의 선형적 특성에는 효과적이지만, 코드 생성에 있어서는 다음과 같은 세 가지 결정적인 병목 현상을 초래하는 "순차적 의존성 함정(Sequential Dependency Dependency Trap)"을 부과한다:

1. 비가역성 및 오류 전파 (Irreversibility and Error Propagation): AR 모델은 코드를 엄격하게 왼쪽에서 오른쪽 방향으로 생성한다. 초기 결정(예: 라이브러리 선택, 함수 시그니처)은 후속 토큰을 제약한다. 만약 초기에 실수가 발생하면, 모델은 이전 토큰을 되돌아가거나 수정할 수 없으며, 결과적으로 잘못된 컨텍스트를 바탕으로 미래의 생성을 조건화하게 된다. 이는 연쇄적인 오류와 환각(hallucination)을 유발하며, 모델이 초기 실수를 정당화하기 위해 근거를 지어내는 현상으로 이어진다.
2. 장거리 의존성 유지 능력 부족 (Inability to Maintain Long-Range Dependencies): 프로그래밍 언어는 광범위한 거리에 걸친 엄격한 문법 규칙(예: 중괄호 매칭, 헤더와 루프 내 사용 간의 타입 정의)을 요구한다. AR 모델은 어텐션(attention) 메커니즘을 사용함에도 불구하고, 컨텍스트 윈도우가 무관한 정보로 포화됨에 따라 정밀한 장거리 의존성을 유지하는 데 어려움을 겪는다. 이들은 접두사(prefix)와 접미사(suffix)를 공동 편집 가능한 표현으로 다루지 못하므로, "중간 채우기(Fill-in-the-Middle, FIM)" 작업 수행을 저해한다.
3. 의미론적 단절 (Semantic Disconnect): AR 모델은 코드를 순수하게 텍스트로 취급하며, 실행 의미론(execution semantics)에 대한 내재적 이해가 부족하다. 이들은 구문론적으로는 유효하지만 런타임에서 실패하는 코드를 생성할 수 있는데, 이는 프로그램 실행의 인과적 역학을 모델링하지 못하기 때문이다.

저자들은 AR 추론의 "한 번 쓰면 끝인(write-once)" 특성이 인간 개발자가 사용하는 비선형적이고 반복적인 피드백 루프(초안 작성, 스케치, 정제)를 구현하는 것을 가로막는다고 주장한다.

2. 방법론: 부상하는 비자기회귀 패러다임 (Emerging Non-Autoregressive Paradigms)

본 논문은 다음 토큰 예측의 대안을 제시하며, AR 모델의 한계를 극복하고자 하는 세 가지 신흥 아키텍처 패러다임을 조사한다:

A. 확산 모델 (Diffusion Models - 반복적 정제)

확산 모델(DM)은 전체 시퀀스의 순차적 생성에서 **반복적 정제(iterative refinement)**로 전환한다.

• 메커니-즘: 비평형 열역학에서 영감을 얻은 DM은 생성을 노이즈 제거(denoising) 과정으로 정식화한다. 노이즈가 섞인 시퀀스(주로 마스킹된 토큰)에서 시작하여 점진적으로 일관된 출력으로 변환한다.
• 핵심 역학:
  • 병렬 디코딩 (Parallel Decoding): 모든 토큰을 동시에 업데이트하여 양방향 컨텍스트 인식을 가능하게 하고 멀티 토큰 예측을 지원한다.
  • 반복적 정제 (Iterative Refinement): 여러 단계의 노이즈 제거 과정을 통해 변수 불일치와 같은 불일치를 수정할 수 있는 자가 교정 메커니즘을 생성한다.
  • 전역 최적화 (Global Optimization): 조건부 확률을 최적화하는 AR과 달리, DM은 전체 시퀀스의 결합 확률을 최적화하여 구문적 제약 조건(예: 괄호 매치)의 전역적 충족을 허용한다.
• 코드 적용 분야: 본 논문은 CODEFUSION(AST 통합), TreeDiff(AST 가이드 생성), Block Diffusion(하이브리드 AR-Diffusion)과 같은 프레임워크를 강조한다. 이러한 모델들은 코드 진화를 깨끗한 전역 상태를 향한 구조화된 경로로 취급함으로써 코드 생성, 편집, 테스트 케이스 생성 및 취약점 탐지에서 유망한 가능성을 보여준다.

B. 상태 공간 모델 (State Space Models, SSMs - 긴 컨텍스트를 위한 모델)

SSM은 방대한 컨텍스트를 처리할 때 발생하는 AR 모델의 계산 효율성 문제를 해결한다.

• 메커니즘: 제어 이론에서 유래한 SSM은 시퀀스를 잠재 동적 시스템($h_{t+1} = Ah_t + Bx_t$)의 진화로 표현한다. 이들은 과거 정보를 요약하는 지속적인 은닉 상태(hidden state)를 유지한다.
• 장점:
  • 선형 복잡도 (Linear Complexity): 셀프 어텐션의 이차적($O(N^2)$) 스케일링과 달리, SSM은 토큰당 한 번씩 잠재 상태를 업데이트하여 선형 시간 효율성을 제공한다.
  • 장거리 메모리 (Long-Range Memory): 어텐션 메커니즘의 메모리 오버헤드 없이 수천 토큰에 걸친 전역 프로그램 컨텍스트와 의존성을 캡처할 수 있다.
• 응용 분야: 현재는 전체 합성보다는 코드 이해(검색, 취약점 탐지)에서 더 보편적이지만, Mamba 및 CodeSSM과 같은 아키텍처는 경쟁력 있는 성능을 입증하고 있다. 논문은 SSM을 확산 모델과 결합하여 효율적인 반복 노이즈 제거를 수행하는 연구(예: SSSD)가 등장하고 있음을 언급한다.

C. 코드 월드 모델 (Code World Models, CWMs)

CWM은 텍스트 예측과 실행 의미론 사이의 간극을 메우는 것을 목표로 한다.

• 메커니즘: 다음 토큰을 예측하는 대신, CWM은 현재 상태($s$)와 행동($a$)이 주어졌을 때 "다음 세계 상태"($s'$)를 시뮬레이션한다. 이들은 코드 실행의 인과적 역학을 모델링한다.
• 학습: 이 모델들은 실행 트레이스(프로그램 실행 중 메모리 상태 기록)와 에이전트 상호작용 트레이스(SWE-bench과 같은 환경에서 에이전트가 소프트웨어 과제를 해결하는 다단계 궤적)를 통해 학습된다.
• 목표: 코드가 로컬 변수를 어떻게 업데이트하고 더 넓은 저장소 상태에 어떤 영향을 미치는지 학습함으로써, CWM은 생성 과정을 실행 가능한 의미론에 접지(grounding)시키고, 에이전트가 자신의 행동에 따른 결과를 예측하고 런타임 동작에 대해 추론할 수 있게 한다.

3. 주요 기여

본 논문은 다음과 같은 구체적인 기여를 포함한 구조화된 조사 및 비교 분석을 제시한다:

1. 체계적 조사: AR 중심의 문헌을 넘어, 코드 합성 및 소프트웨어 공학의 맥락에서 확산 모델, 상태 공간 모델, 코드 월드 모델을 체계적으로 논의한 최초의 연구 중 하나이다.
2. 비교 분석: 저자들은 이러한 패러다임들의 계산 효율성, 긴 컨텍스트에 대한 확장성, 구조적 일관성에 관한 트레이드오프를 분석한다.
   • 확산 모델은 전역적 구조 정제 및 반복적 편집에 탁월하다.
   • SSM은 거대한 컨텍스트에 대해 선형 시간 효율성을 제공한다.
   • CWM은 실행 인지적 추론을 제공한다.
3. 인지적 정렬 (Cognitive Alignment): 본 논문은 이러한 아키텍처의 발전을 인지 신경과학과 연결한다. 저자들은 인간의 코딩이 AR 모델이 모사하는 "시스템 1"(빠르고 선형적인) 프로세스가 아니라 "시스템 2"(의도적 분석, 오류 수정, 계획) 추론에 의존한다고 주장한다. 이 조사는 새로운 패러다임들을 인간의 인지 과정(예: 확산을 통한 "초안-검토-정제" 루프, SSM을 통한 작업 기억 활용)과 일치하는 AI 에이전트를 구축하기 위한 필수적인 단계로 프레임화한다.

4. 결과 및 벤치마킹 트렌드

논문은 이러한 패러다임 전반에 걸친 경험적 평가를 검토하며, 모델링 접근 방식과 함께 벤치마킹 관행도 진화했음을 언급한다:

• 자기회귀 모델: pass@k 지표를 사용하는 스니펫 수준 생성 벤치마크(HumanEval, APPS)에서 지배적이다.
• 확산 모델: 코드 수정, 편집, 단위 테스트 생성 등 다양한 작업에서 평가된다. 지표는 pass@k를 넘어 실행 일치도, 구조적 유사성, 워크플로 수준의 성능까지 확장된다.
• 상태 공간 모델: 주로 MRR 및 F-1 점수를 사용하여 코드 이해 작업(검색, 클론 탐지)에서 평가되며, 전체 합성을 위한 생성 능력은 아직 크게 탐구되지 않았다.
• 월드 모델: 실행에 기반한 지표(resolve rate)를 사용하여 다단계 추론 및 환경 상호작용에 초점을 맞춘 저장소 규모 벤치마크(SWE-bench, Terminal-Bench)에서 평가된다.

저자들은 확산 모델이 코드 작업에서 일정 수준의 성숙도에 도달한 반면, SSM과 월드 모델은 여전히 탐색 단계에 있다고 지적한다.

5. 의의 및 향후 방향

본 논문은 차세대 코드 지능을 위해 필수적인 패러다임 전환을 식별했다는 점에서 그 의의를 찾는다. 코드를 순수한 순차적 텍스트로 취급하는 것은 복잡한 소프트웨어 공학 과업에 불충분하다고 주장한다.

• 하이브리드 아키텍처: 저자들은 미래가 AR 모델을 완전히 대체하는 것이 아니라, 여러 패러다임을 합성하는 데 있다고 제안한다. 이들은 AR의 강력한 사후 학습 혁신을 활용하면서도 다음을 통합하는 하이브리드 시스템을 제안한다:
  • 전역적 계획 및 반복적 "제자리 편집(edit-in-place)" 리팩토링을 위한 확산(Diffusion).
  • 코드의 실행 가능한 의미론과 인과적 효과에 접지하기 위한 월드 모델(World Models).
  • 긴 컨텍스트 전반에 걸쳐 지속적인 프로그램 상태를 효율적으로 유지하기 위한 SSM.
• 인지적 정렬: 궁극적인 목표는 단순히 다음 토큰을 예측하는 것이 아니라, 계획, 디버깅, 정제와 같은 인간의 인지 과정을 모사하는 "시스템 2" 코드 에이전트를 개발하는 것이다.

논문은 마지막으로, 서로 다른 패러다임 간의 파편화된 벤치마킹 관행으로 인해 직접적인 경험적 비교가 어렵다는 한계를 인정하며 마무리한다. 저자들은 긴 컨텍스트 추론, 반복적 편집, 실행 인지적 소프트웨어 공학을 측정할 수 있는 통합된 평가 프레임워크를 촉구한다.