기술 요약: 자동회귀적이되 수정 가능한: 안전한 코드 생성을 위한 디코딩 수정

1. 문제 정의

표준 대규모 언어 모델 (LLM) 코드 생성은 엄격하게 단조로운 자동회귀 과정으로 정의됩니다. 이 패러다임에서 토큰은 불변의 접두사에 선형적으로 추가되며, 한 번 토큰이 생성되면 동일한 순전파 (forward pass) 내에서 이를 변경할 수 없습니다. 이러한 '추가 전용 (append-only)' 제약은 프로그래밍의 인지 과정과 근본적인 불일치를 초래하는데, 프로그래밍은 본질적으로 순방향 생성과 실시간 수정이 교차하는 과정이기 때문입니다.

저자들은 표준 자동회귀 병목 현상의 두 가지 주요 한계를 식별합니다:

• 불변성 제약: 실제 세계의 학습 코퍼스에는 다양한 취약점 패턴이 포함되어 있습니다. 모델이 불안전한 토큰을 샘플링하면 이는 불변의 컨텍스트의 일부가 되어 모든 미래 확률에 조건부로 작용합니다. 모델은 이러한 오류를 철회할 수 있는 고유한 메커니즘이 부재합니다.
• 약속의 덫: 모델이 불안전한 구간을 생성할 때, 자동회귀 목적 함수는 논리적 일관성을 유지하기 위해 이 오류를 사실 (ground truth) 로 취급하도록 강요합니다. 결과적으로 모델은 실수를 더욱 고집하게 되어 ('double down'), 지역적 결함이 시스템적 실패로 이어지는 연쇄 반응을 초래합니다.

기존 솔루션은 사후 에이전트나 정적 분석기 같은 외부 구성 요소를 사용하여 이 격차를 메우려 시도합니다. 그러나 이러한 접근 방식은 여러 추론 라운드로 인한 높은 지연 시간, 전체 컨텍스트를 재인코딩하는 상당한 토큰 오버헤드, 또는 모델의 고유한 의미 추론 능력을 활용하지 못하는 외부 도구에 대한 의존성 등의 문제를 겪습니다.

2. 방법론: 수정의 흐름 (Stream of Revision)

본 논문은 코드 생성을 단조로운 흐름에서 역동적이고 자기 수정적인 궤적으로 전환시키는 패러다임 전환인 **수정의 흐름 (Stream of Revision)**을 제안합니다. 핵심 혁신은 수정 루프를 디코딩 과정 내부로 직접 내재화하여, 모델이 단일 순전파 내에서 과거로 돌아가 역사를 편집할 수 있게 하는 것입니다.

2.1. 표현적 원시 요소: 가상 커서

이 프레임워크는 모델의 어휘 ($V_{code}$) 에 연산 토큰 집합 ($V_{edit}$) 을 추가하여 확장된 어휘 $V = V_{code} \cup V_{edit}$를 형성합니다. 이러한 토큰은 '가상 커서'를 위한 실행 가능한 제어 명령어로 작용합니다. 안전한 코드 생성을 위해 수정 과정은 3 단계 에피소드로 구체화됩니다:

1. 취약점 감지 (행동 트리거): 특수 토큰 ($\tau_{trig}$) 은 고유한 감지 신호로 작용합니다. 모델이 이 토큰을 예측하면 표준 생성에서 '수정 에피소드'로 전환되어 현재 코드 접두사에 불안전한 패턴이 포함되어 있음을 나타냅니다.
2. 취약점 국소화 (콘텐츠 주소 지정 범위): 트리거가 발생하면 모델은 범위 구분자 (예: <scope>s</scope>) 로 둘러싸인 코드 세그먼트를 반복하여 취약한 구간 ($s$) 을 지정합니다. 환각을 방지하기 위해 프레임워크는 동적 로짓 마스킹을 통해 **엄격한 부분 문자열 불변성 (Strict Substring Invariant)**을 강제합니다. 이는 생성된 범위가 항상 이미 생성된 접두사의 유효한 부분 문자열 ($s \sqsubseteq y_{<t}$) 이도록 보장합니다.
3. 취약점 수정 (명시적 패치 합성): 모델은 패치 구분자 (예: <patch>s'</patch>) 로 둘러싸인 수정 패치 ($s'$) 를 합성합니다. 이 표현은 국소화된 취약 코드를 기반으로 수정을 명시적으로 조건 짓습니다.

수정 에피소드는 다음과 같이 직렬화됩니다: $E = \tau_{trig} \oplus \langle scope \rangle s \langle /scope \rangle \oplus \langle patch \rangle s' \langle /patch \rangle$.

2.2. 결정적 렌더러

원시 출력 궤적 ($T$) 은 코드 토큰과 수정 아티팩트가 교차하며 직접 실행 가능하지 않습니다. 결정적 렌더러 ($\Phi$) 는 스트림 인터프리터 역할을 합니다:

• 스트림 투명성: 표준 생성 중 토큰은 사용자용 버퍼에 추가됩니다.
• 불투명 수정: 수정 에피소드가 감지되면 국소화 및 패치 토큰은 내부적으로 버퍼링되어 사용자 출력에서 억제됩니다.
• 원자적 커밋: 닫는 패치 토큰이 관찰되면 렌더러는 인플레이스 스플라이스 (in-place splice) 를 수행하여 국소화된 구간 $s$의 가장 오른쪽 발생을 패치 $s'$로 대체합니다. 최종 프로그램은 $Y = \Phi(T)$입니다.

2.3. 학습 전략

• 의미 임베딩 초기화: 새로운 토큰의 콜드 스타트 문제를 완화하기 위해 저자들은 특수 토큰의 임베딩을 자연어 의미 설명 (예: "백트래킹 작업을 트리거함") 의 가중 평균을 사용하여 초기화합니다.
• 지도 미세 조정 (SFT): 모델은 실제 CVE 기록에서 파생된 확장된 궤적으로 학습됩니다. 학습 데이터는 취약한 함수와 패치된 버전의 쌍으로 구성되며, 이를 수정 궤적으로 선형화합니다.
• 데이터 효율성: 저자들은 모델이 높은 데이터 효율성으로 자기 수정 행동을 학습할 수 있음을 입증하였으며, 견고한 수정 행동을 이끌어내기 위해 약 1,000 개의 긍정적 예제만 필요하다고 밝혔습니다.

3. 주요 기여

1. 디코딩 시간 재정의: 실행 가능한 수정 토큰으로 출력 공간을 확장하고 결정적 렌더러를 통해 생성된 궤적을 최종 프로그램으로 컴파일하는 수정의 흐름 제안.
2. 안전한 코딩의 구체화: 디코딩 과정에 고유한 구조화된 3 단계 에피소드 (감지, 엄격한 제약 하의 국소화, 명시적 패치 합성) 로서 안전한 코드 수정의 정의.
3. 실증적 검증: 자기 수정이 데이터 효율적이며, 이 방법이 일반적인 코딩 유용성을 유지하면서 CyberSecEval 2 벤치마크에서 보안을 크게 향상시킨다는 입증.

4. 실험 결과

저자들은 Qwen2.5 및 CodeLlama 와 같은 모델을 사용하여 보안 평가를 위한 CyberSecEval 2 (CSE2) 벤치마크와 일반 유용성을 위한 HumanEval에서 수정의 흐름을 평가했습니다.

• 보안 효과성: 대상 도메인 (C 및 C++) 에서 수정의 흐름은 보안 통과율 (SPR) 에서 일반 LLM 보다 9.55%–14.92% 더 높은 성능을 보였습니다. 또한 SafeCoder 및 ProSec 과 같은 전문화된 베이스라인 대비 우수하거나 동등한 성능을 입증했습니다.
• 제로샷 일반화: C/C++ 데이터로만 학습되었음에도 불구하고, 이 방법은 분포 외 언어 (Python, Java, JavaScript, C#) 로의 놀라운 제로샷 전이를 보여주어, 모델이 구문에 과적합하는 것이 아니라 언어에 무관한 보안 패턴을 학습함을 시사합니다.
• 유용성 보존: 이 방법은 HumanEval 의 Pass@1 및 Pass@10 점수를 유지하거나 약간 향상시켜, 수정 메커니즘이 일반적인 코딩 능력을 저하시키지 않음을 나타냈습니다.
• 효율성: 사후 에이전트 베이스라인과 비교하여 수정의 흐름은 입력 토큰 소비를 6.5 배 감소시키면서 동등한 보안 성능을 달성했습니다. 사후 에이전트가 전체 컨텍스트를 재인코딩하는 $O(L)$ 오버헤드를 incur 하는 반면, 수정의 흐름은 초기 순전파 중 개입하여 로컬 패치에 대해 상수 오버헤드 $O(1)$만 incur 합니다.

5. 중요성 및 주장

본 논문은 수정의 흐름이 단일 패스 생성의 속도와 에이전트 수리의 정밀도 사이의 격차를 해소한다고 주장합니다. '초안 작성 및 수정' 과정을 내재화함으로써, 이 프레임워크는 모델이 엔드 사용자에게 메커니즘을 노출하거나 반복적 에이전트 워크플로우의 prohibitive 한 지연 시간을 incur 하지 않고도 적시 수정을 수행할 수 있게 합니다.

저자들은 그들의 접근 방식이 DPO 나 ProSec 과 같은 가중치 수준 정렬 방법과 **직교 (orthogonal)**하다고 강조합니다. 정렬은 취약성 가능성을 줄이기 위해 전역 분포를 이동시키는 반면, 수정의 흐름은 취약성이 발생할 때 이를 차단하는 런타임 안전 가드를 제공합니다. 두 방법의 결합은 시너지 효과를 낳습니다.

이 연구는 표준 자동회귀 디코딩의 단조로운 경직성에 도전하며, 코드 생성을 정적 시퀀스가 아닌 역동적인 궤적 ($Y = \Phi(T)$) 으로 보아야 한다고 제안합니다. 저자들은 이 접근 방식이 최소한의 추론 오버헤드로 취약점을 크게 줄여 현실 세계의 소프트웨어 개발 워크플로우에서 안전한 코드 생성을 위한 실용적인 해결책이 된다고 주장합니다.