When to Answer and When to Defer: A Decision Framework for Reliable Code Predictions

기술 요약: 언제 답변하고 언제 유보할지

문제 제기
코드 언어 모델이 점점 더 취약점 탐지와 같은 분류 작업 및 코드 합성과 같은 생성 작업에 배포되고 있습니다. 그러나 이러한 모델들은 예측 신뢰도와 실제 정확도 간의 정합성이 종종 낮아, 잘못된 예측에는 높은 신뢰도를 부여하고 올바른 예측에는 낮은 신뢰도를 부여하는 경향이 자주 나타납니다. 자연어용으로 주로 개발된 기존 보정 및 불확실성 추정 방법들은 코드에 효과적으로 적용되지 못합니다. 구체적으로, 사후 보정 기술들은 평균 오보정을 줄이기는 하지만, 예측의 정확성 확률에 따른 순위 매김을 개선하지는 못하는데, 이는 효과적인 선택적 예측 (기피) 에 필수적인 전제 조건입니다. furthermore, 현재의 접근 방식들은 불확실성을 해결하거나 검증할 수 있는 통합 메커니즘이 결여된 채, 단순한 수동적 지표가 아닌 실행 가능한 신호로 취급하지 못합니다.

방법론: 통합 의사결정 프레임워크
저자들은 불확실성 추정, 모델 보정, 그리고 도구 기반 기피 처리를 통합한 배포 지향적 프레임워크를 제안합니다. 이 프레임워크는 다음 세 가지 핵심 구성 요소를 통해 분류 및 생성 작업 모두에서 작동하도록 설계되었습니다:

1. 불확실성 추정: 시스템은 모델에서 내부 신호를 추출하여 하류 의사결정에 활용합니다. 여기에는 예측 분포에서 도출된 지표와 통제된 교란 하에서 모델 변이성을 정량화하는 방법들이 포함됩니다. 이러한 신호들은 직접적인 필터로 작용하기보다는 정확성 확률을 계산하는 기초로 활용됩니다.
2. 보정 전략:
   • 배포 전 보정: 분류 모델의 경우, 프레임워크는 선택적 위험 인식 손실로 훈련된 명시적 기피 헤드 또는 레이블 공간 내의 '거부' 클래스를 도입합니다. 생성 모델의 경우, 생성을 정확성 대리 지표 (예: 유효성 검사 통과율) 와 정렬하도록 보상 인식 훈련을 적용하여 불확실성 하에서 보수적인 행동을 장려합니다.
   • 배포 후 보정: 재훈련 없이 기피를 가능하게 하기 위해, 프레임워크는 고오류 또는 소수 클래스를 강조하는 가중치 보정 체계와 예측 분산을 정확성 확률에 매핑하는 분산 인식 보정을 적용합니다. 생성 모델의 경우, 보정은 토큰 수준 (점진적 신뢰를 위해) 과 시퀀스 수준 (전체적 출력 평가를 위해) 모두에서 수행됩니다.
3. 기피 및 복구 (MCP 레이어): 보정된 점수가 조정 가능한 임계값 미만으로 떨어지면, 시스템은 기피하고 모델 - 컨텍스트 - 프로토콜 (MCP) 복구 레이어를 활성화합니다.
   • 생성 작업의 경우: MCP 레이어는 누락된 작업 정보 추가 (예: 중간 계획 생성), 외부 지식 주입 (예: 문서 조각), 또는 단순화 강제 (예: 생성 길이 제한) 를 통해 입력을 보강함으로써 실패 모드를 해결합니다.
   • 분류 작업의 경우: 기피는 제어 흐름과 데이터 종속성을 평가하여 결정이 기호적 증거에 의해 뒷받침되도록 보장하는 정적 분석기, 프로그램 슬라이싱 도구, 또는 규칙 기반 유효성 검사기를 활용한 도메인별 복구를 촉발합니다.

주요 기여

• 통합 프레임워크: 분류 및 생성 코드 모델링 작업 모두에 걸쳐 선택적 기피와 구조화된 복구를 위한 일반화 가능한 아키텍처.
• 작업별 보정: 분류를 위한 로짓 기반 행동 보정 및 생성 모델을 위한 가중치 스케일링을 포함하여 코드에 맞춤화된 새로운 보정 전략.
• 이중 단계 기피 메커니즘: 모델 재훈련을 통한 명시적 기피 (배포 전) 와 재훈련 없이 보정된 신뢰도 임계값을 통한 기피 (배포 후) 를 위한 방법.
• 실행 가능한 기피: 기피를 종단적 실패가 아닌 도구 안내 개입 (MCP) 을 촉발하는 의사결정 원시 (primitive) 로 재개념화.
• 개방형 과학 약속: 코드, 구성, 및 데이터셋을 허용적 라이선스로 공개하겠다는 약속.

예비 결과
저자들은 사전 훈련된 코드 모델에 대한 불확실성 지표 및 보정 기술의 전이성을 평가하는 실증적 결과를 제시합니다:

• 생성 모델: MBPP+ 벤치마크에서 DeepSeek-Coder-7b 및 CodeLlama-7b 에 적용된 가중치 로지스틱 스케일링 방법은 Platt 스케일링 및 등방성 회귀에 비해 일관되게 보정 오차 (ECE) 와 브라이어 점수를 감소시켰습니다. 80% 커버리지에서 선택적 예측 정확도는 70% 를 초과했습니다.
• 분류 모델: 소프트맥스를 우회하여 모델 로짓에서 직접 작동하는 행동 보정 방법이 결함 예측 작업에 적용되었습니다. 이 접근법은 테스트된 전략 중 가장 낮은 브라이어 및 ECE 점수를 달성하여, DeepSeek-Coder-7b 및 Qwen-Coder-7b 의 경우 80% 커버리지에서 90% 이상의 선택적 정확도를 달성했습니다.
• 불확실성 지표: 결함 예측, 취약점 탐지, 코드 생성 전반에 걸친 16 가지 불확실성 지표 평가 결과, 많은 지표들이 정확성과 상관관계가 있지만, 행동 보정 없이 신뢰할 수 있는 기피를 위한 작업 무관한 해결책은 아무것도 없는 것으로 드러났습니다. 보정되지 않은 지표들은 코드 내의 피상적인 패턴 매칭으로 인해 오류가 있는 예측에서 신뢰성을 과대평가하는 경향이 있습니다.

의의 및 주장
이 논문은 코드 모델의 신뢰할 수 있는 배포가 불확실성 하에서 신중하게 행동하는 운영 시스템으로, 수동적 신뢰도 보고를 넘어설 것을 요구한다고 주장합니다. 저자들은 해당 프레임워크가 위험 인식 및 커버리지 통제된 코드 모델 사용을 위한 기반을 제공한다고 주장합니다. 경량 분석 도구에 의해 지원되는 원칙적 의사결정 메커니즘으로서 기피를 취급함으로써, 이 연구는 안전을 위해 커버리지를 희생하지 않으면서 고위험 소프트웨어 엔지니어링 워크플로우에서의 견고한 배포를 가능하게 하는 것을 목표로 합니다. 이 연구는 코드 작업에서의 효과적인 기피는 분포 지표에만 의존하는 것이 아니라, 인스턴스 수준에서 내부 신뢰도를 정확성과 정렬시키는 행동 보정이 필요함을 강조합니다.