💻 computer science

Fine-grained Approaches for Confidence Calibration of LLMs in Automated Code Revision

이 논문은 자동화된 코드 수정 작업에서 기존 전역 플랫 스케일링의 한계를 극복하고, 세 가지 세밀한 신뢰도 점수에 지역적 플랫 스케일링을 적용함으로써 LLM 의 신뢰도 보정을 개선하여 더 신뢰할 수 있는 코드 수정을 가능하게 하는 방법을 제안합니다.

원저자: Hong Yi Lin, Chunhua Liu, Haoyu Gao, Patanamon Thongtanunam, Christoph Treude

게시일 2026-04-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hong Yi Lin, Chunhua Liu, Haoyu Gao, Patanamon Thongtanunam, Christoph Treude

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"인공지능 (AI) 이 코드를 고칠 때, 그 AI 가 얼마나 자신 있는지를 정확히 알려주는 방법"**을 연구한 내용입니다.

쉽게 말해, **"AI 가 "이거 100% 맞아요!"라고 할 때, 실제로 100% 맞는지, 아니면 50% 정도만 맞는지 개발자가 바로 알 수 있게 만드는 기술"**을 개발한 거예요.

이 복잡한 연구를 일상적인 비유로 설명해 드릴게요.

1. 문제: "무조건 자신하는 AI"의 함정

지금 AI(대형 언어 모델) 는 코드를 수정하거나 버그를 고칠 때 아주 똑똑해졌습니다. 하지만 가끔은 틀린 코드를 고쳐주면서도 "이거 완벽해요!"라고 아주 자신 있게 말합니다.

비유: 마치 요리 실력이 아직 안 좋은 요리사가, "이 요리는 100% 맛있습니다!"라고 외치는데, 실제로는 소금에 절인 생선을 먹인 것처럼 맛이 없는 경우를 상상해 보세요. 개발자는 이 요리를 믿고 먹다가 (코드를 쓰고) 배탈 (시스템 오류) 이 날 수 있습니다.

기존 연구들은 AI 가 내놓은 전체 결과물에 대해 "이게 맞을 확률은 80% 입니다"라고 하나의 점수만 매겼습니다. 하지만 코드 수정은 전체가 아니라 작은 부분 (한 줄, 한 단어) 의 실수가 전체를 망칠 수 있기 때문에, 이 '전체 점수' 방식은 너무 거칠고 부정확했습니다.

2. 해결책 1: "현미경"으로 보는 정밀한 점수 (Fine-grained Approaches)

이 논문은 AI 의 답변을 전체적으로 보는 게 아니라, **가장 약한 고리 (가장 불확실한 부분)**를 찾아내는 방법을 제안했습니다.

비유:
- 기존 방식 (Sequence-level): "이 다리 전체가 튼튼할 확률은 90% 입니다." (하지만 다리 한 기둥이 부러져 있으면 전체가 무너집니다.)
- 새로운 방식 (Fine-grained): "다리 전체는 튼튼해 보이지만, 가장 약한 나사 하나가 흔들리고 있어요. 그 나사의 흔들림 정도를 보면 전체가 무너질 확률이 높아요."

저자들은 **"가장 확신이 적은 단어 (Minimum Token Probability)"**를 찾아내어 점수를 매기는 것이 가장 정확하다고 발견했습니다. 마치 가장 약한 고리를 찾아서 전체의 안전성을 판단하는 것과 같습니다.

3. 해결책 2: "상황별 맞춤 교정" (Local Platt-scaling)

기존에는 모든 질문에 대해 **하나의 교정표 (Global Platt-scaling)**를 사용했습니다. 하지만 문제는 상황마다 AI 의 실수 패턴이 다르다는 거예요.

비유:
- 기존 방식 (Global): 모든 학생에게 똑같은 "수학 점수 교정표"를 적용합니다. (수학은 잘하지만 영어는 못하는 학생도, 영어는 잘하지만 수학은 못하는 학생도 똑같이 점수를 매깁니다.)
- 새로운 방식 (Local Platt-scaling): 학생의 **특성 (클러스터)**을 먼저 파악합니다. "이 학생은 수학은 잘하지만 영어는 약하네?"라고 분류한 뒤, 그 학생에게 맞는 교정표를 적용합니다.

특히 '코드 개선 (Code Refinement)' 같은 복잡한 작업에서는 AI 의 실수 패턴이 너무 다양해서, **상황별로 다른 교정표 (Local)**를 써야만 정확한 확신을 줄 수 있었습니다.

4. 연구 결과: 어떤 방법이 좋을까?

연구진은 14 개의 다양한 AI 모델과 3 가지 작업 (버그 수정, 보안 취약점 수정, 코드 개선) 을 테스트했습니다.

버그나 보안 취약점 수정 (Bug/Vulnerability Repair):
- 비유: "수리공이 고장 난 전구를 고치는 일"
- 결과: **간단한 교정 (Global)**만으로도 충분했습니다. AI 가 "이거 고쳤어요"라고 할 때, 약간의 계산만 더하면 개발자가 믿고 쓸 수 있을 정도로 정확해졌습니다. 속도가 중요할 때 추천합니다.
코드 개선 (Code Refinement):
- 비유: "요리사가 요리를 더 맛있게 다듬는 일 (취향과 스타일이 다양함)"
- 결과: **상황별 맞춤 교정 (Local)**이 필수였습니다. 이 작업은 사람마다 요구하는 게 달라서 (취향 차이), AI 의 실수 패턴도 매우 복잡합니다. 그래서 가장 정밀한 교정을 하지 않으면, AI 가 "이거 완벽해요"라고 해도 실제로는 엉망일 수 있습니다.

5. 결론: 개발자에게 주는 메시지

이 연구는 AI 개발자에게 다음과 같은 조언을 합니다:

AI 의 확신 점수를 믿기 전에, 그 점수가 어떻게 계산되었는지 확인하세요. (단순 전체 점수가 아니라, 가장 약한 부분을 본 점수여야 합니다.)
작업의 종류에 따라 교정 방식을 바꿔야 합니다.
- 단순 버그 수정? -> 빠르고 간단한 방법으로 충분해요.
- 복잡한 코드 개선? -> 정교하고 맞춤화된 방법을 써야 안전해요.

한 줄 요약:

"AI 가 코드를 고칠 때, '전체 점수'가 아니라 '가장 약한 부분'을 보고, '상황에 맞는 교정표'를 적용해야만, 개발자가 AI 를 믿고 안전하게 사용할 수 있다."

이 기술은 AI 가 개발자의 일을 방해하거나 실수를 반복하게 만드는 것을 막아주며, AI 와 인간이 더 잘 협력할 수 있는 토대를 마련해 줍니다.

1. 연구 배경 및 문제 정의 (Problem Statement)

배경: LLM 은 소프트웨어 공학 분야에서 코드 수정, 취약점 패치, 코드 리팩토링 등에 널리 사용되지만, 모델이 잘못된 코드를 생성할 확률이 여전히 높습니다. 개발자가 모델의 출력을 신뢰하고 수용 여부를 결정하기 위해서는 모델이 자신의 예측에 대해 부여하는 **신뢰도 점수 (Confidence Score)**가 실제 정확도와 일치해야 합니다 (잘 보정된 상태).
문제점: 기존 연구들은 주로 **전체 시퀀스 수준 (Sequence-level)**의 신뢰도 점수를 사용하며, 이를 보정하기 위해 **전역 플랫 스케일링 (Global Platt-scaling)**을 적용했습니다. 그러나 ACR 작업 (버그 수정, 취약점 수정 등) 은 전체 코드 흐름보다는 **국소적인 편집 결정 (Local edit decisions)**의 정확도가 중요합니다.
- 기존 방법의 한계: 전체 시퀀스의 평균 신뢰도는 중요한 국소적 오류 신호를 희석시켜, 잘못된 코드에 대해 높은 신뢰도를 부여하거나 (과신), 올바른 코드에 대해 낮은 신뢰도를 부여하는 (과소신) **부적절한 보정 (Miscalibration)**을 초래합니다.
- 특히, **자동화된 코드 리파인먼트 (Code Refinement)**와 같은 작업은 해결 공간이 넓고 오류 패턴이 샘플마다 달라 전역 보정만으로는 부족합니다.

2. 제안 방법론 (Methodology)

저자들은 ACR 작업의 특성을 반영한 두 가지 핵심 기법을 제안합니다.

A. 세밀한 신뢰도 점수 (Fine-grained Confidence Scores)

전체 시퀀스 평균 대신, 모델이 생성한 토큰 중 국소적 편집 결정에 초점을 맞춘 세 가지 지표를 제안합니다.

최소 토큰 확률 (Minimum Token Probability): 생성된 시퀀스 중 가장 낮은 확률을 가진 토큰의 확률. ACR 에서 단일 토큰의 오류가 전체 구현을 무효화할 수 있으므로 가장 취약한 지점을 반영합니다.
최저-K 토큰 확률 (Lowest-K Token Probability): 전체 시퀀스 중 확률이 가장 낮은 K 개의 토큰에 대한 평균 확률. 단일 이상치 (Outlier) 에 대한 강건성을 높입니다.
어텐션 가중 불확실성 (Attention-Weighted Uncertainty): 낮은 확률을 가진 토큰 중에서도, 이후 생성된 토큰들의 어텐션 (Attention) 이 집중된 (즉, 하류 영향력이 큰) 토큰에 가중치를 두어 불확실성을 계산합니다.

B. 국소 플랫 스케일링 (Local Platt-scaling)

기존의 전역 플랫 스케일링 (모든 샘플에 하나의 보정기 사용) 을 대체하는 방법입니다.

클러스터링: 입력/출력 임베딩과 보정되지 않은 신뢰도 점수를 기반으로 HDBSCAN 을 사용하여 샘플을 클러스터화합니다.
국소 보정기: 각 클러스터마다 별도의 로지스틱 회귀 모델 (로컬 보정기) 을 학습시켜, 샘플의 특성에 따라 다른 보정 함수를 적용합니다.
백오프 (Backoff): 클러스터에 속하지 않는 이상치 (Outlier) 에 대해서는 전역 보정기나 원본 신뢰도 점수를 사용합니다.

3. 실험 설계 (Experimental Setup)

작업 (Tasks):
1. 자동 프로그램 수정 (Automated Program Repair, DCF-Bug)
2. 취약점 수정 (Vulnerability Repair, DCF-Vul)
3. 자동 코드 리파인먼트 (Automated Code Refinement, CR-Trans)
모델: Llama-3.1, CodeLlama, Qwen2.5, DeepSeek 등 3 개 계열의 14 개 오픈소스 모델 (8B ~ 72B 파라미터).
정확도 지표: 정밀 일치 (Exact Match), 편집 진행률 (Edit Progress), 정적 분석 통과 (Checks Passed).
보정 평가 지표: 기대 보정 오차 (ECE), 브라이어 점수 (Brier Score), 빈 커버리지 (Bin Coverage).

4. 주요 결과 (Key Results)

RQ1: 세밀한 점수의 분리 능력

생성된 코드에서 토큰 확률 분포는 강한 **음의 왜도 (Negative Skewness)**를 보였습니다. 즉, 대부분의 토큰은 높은 확률을 가지지만, 소수의 토큰 (오류) 이 매우 낮은 확률을 가집니다.
**최소 토큰 확률 (Min Token Probability)**이 정답과 오답 코드를 구분하는 능력 (Wasserstein Distance, Kendall's $\tau$ ) 에서 기존 시퀀스 수준 점수보다 월등히 우수했습니다.

RQ2: 전역 플랫 스케일링의 효과

세밀한 점수 + 전역 보정: 시퀀스 수준 점수를 사용한 전역 보정은 많은 경우 단일 빈 붕괴 (Single bin collapse) 현상 (모든 샘플이 동일한 신뢰도로 보정됨) 을 일으켰습니다. 반면, 세밀한 점수 (특히 Min Token Probability) 를 사용하면 보정 오차 (ECE) 가 크게 감소하고 빈 커버리지가 향상되었습니다.
성과: 프로그램 수정 및 취약점 수정 작업에서는 전역 플랫 스케일링만으로도 세밀한 점수를 통해 충분한 보정 성능을 달성할 수 있었습니다.

RQ3: 국소 플랫 스케일링의 효과

코드 리파인먼트 (CR-Trans) 의 경우: 이 작업은 인간 리뷰어에 기반하여 해결 공간이 매우 다양하고 오류 패턴이 샘플마다 크게 다릅니다 (높은 이질성).
- 전역 보정만으로는 ECE 가 0.14 이상으로 높게 유지되어 신뢰할 수 있는 의사결정이 불가능했습니다.
- 국소 플랫 스케일링을 적용하면 ECE 가 획기적으로 감소하고 빈 커버리지가 증가하여, 신뢰할 수 있는 의사결정이 가능해졌습니다.
프로그램/취약점 수정: 국소 보정을 적용하면 보정 오차가 추가적으로 감소하지만, 전역 보정만으로도 이미 낮은 오차를 달성했으므로 지연 시간 (Latency) 과 성능 간의 트레이드오프가 존재합니다.

5. 주요 기여 및 의의 (Contributions & Significance)

세밀한 불확실성 신호의 발견: ACR 작업에서 정확도는 국소적 편집 결정에 의해 결정되며, 기존 시퀀스 수준 점수는 이를 놓친다는 것을 최초로 증명했습니다.
국소 플랫 스케일링의 제안: 샘플 의존적 (Sample-dependent) 인 보정 오류 패턴을 해결하기 위해 클러스터 기반의 국소 보정기를 도입했습니다.
실용적 가이드라인 제시:
- 프로그램/취약점 수정: 지연 시간이 중요할 경우 세밀한 점수 (Min Token) + 전역 보정을 권장.
- 코드 리파인먼트: 높은 보정 정확도가 필수적이므로 세밀한 점수 + 국소 보정이 반드시 필요합니다.
신뢰할 수 있는 AI 기반 개발 도구: 개발자가 모델의 출력 신뢰도를 정확히 이해하고, 오류가 의심될 때 인간이 개입할 수 있도록 하여 AI 의 신뢰성과 생산성을 동시에 높이는 데 기여합니다.

6. 결론

이 연구는 LLM 기반 코드 수정 작업에서 세밀한 신뢰도 점수와 국소 보정 기법의 조합이 기존 방법론보다 훨씬 우수한 보정 성능을 제공함을 입증했습니다. 특히 작업의 복잡성과 이질성에 따라 보정 전략 (전역 vs 국소) 을 선택해야 함을 강조하며, 신뢰할 수 있는 AI 소프트웨어 공학 (AI for SE) 을 위한 중요한 기초를 마련했습니다.