When Uncertainty Isn't Enough: An Empirical Study of Self-Correction in Code Generation

인공지능의 세계에서 대규모 언어 모델은 컴퓨터 코드를 작성하는 데 매우 뛰어난 실력을 갖추게 되었습니다. 이들은 작업에 대한 간단한 설명만으로도 이를 해결하는 작동 가능한 프로그램을 만들어낼 수 있습니다. 하지만 이 디지털 조수들에게는 사각지대가 있습니다. 바로 자신이 만든 코드가 깨졌다는 사실을 전혀 인지하지 못한 채, 종종 고장 난 코드를 생성한다는 점입니다. 복잡한 계산을 수행할 때 잠시 멈춰서 재검토를 할 수 있는 인간 프로그래머와 달리, 모델은 결과가 맞든 틀리든 경고 신호 없이 단순히 답을 출력해 버립니다. 이는 사용자가 생성된 모든 코드가 제대로 작동하는지 확인하기 위해 일일이 수동으로 테스트해야 하는 좌절스러운 순환을 만들어내며, 실패한 솔루션에 시간과 컴퓨팅 자원을 낭비하게 만듭니다. 연구자들은 만약 이 모델들에게 스스로의 불확실성을 인식하도록, 즉 자신이 확신이 없을 때 일종의 의구심을 갖도록 가르칠 수 있다면, 결과를 인간에게 보여주기 전에 스스로 실수를 바로잡는 시스템을 구축할 수 있을 것이라고 오랫동안 희망해 왔습니다.

한 연구팀은 이 아이디어를 코딩이라는 구체적인 맥락에서 테스트하기 위해 연구를 시작했습니다. 그들은 에세이를 쓰거나 질문에 답하는 것과 같은 자연어 분야에서 개발된 불확실성 측정 방법들이, 엄격하고 논리적인 프로그래밍의 세계에서도 똑같이 잘 작동할지 알고 싶었습니다. 또한 이러한 불확실성 신호를 사용하여 자기 수정(self-correction)을 유도하는 것이 실제로 코드의 품질을 높일 수 있는지도 확인하고자 했습니다. 연구팀은 모델이 자신의 답변에 대해 얼마나 확신하는지를 측정하는 다섯 가지 서로 다른 방법을 테스트했습니다. 어떤 방법은 모델이 각 단어를 선택할 때 사용하는 내부 수학적 계산을 살펴보았고, 다른 방법은 모델에게 스스로 얼마나 자신감이 있는지 직접 말하게 하거나, 동일한 코드의 여러 버전을 생성하여 그 버전들이 서로 얼마나 다른지 확인했습니다. 그들은 세 가지 서로 다른 코딩 모델을 대상으로 두 가지 표준 프로그래밍 과제 세트를 사용하여 이 테스트들을 수행했습니다.

결과는 무엇이 효과적이고 무엇이 그렇지 않은지에 대한 극명한 차이를 보여주었습니다. 코드가 올바른지 판단하는 가장 신뢰할 수 있는 방법은 솔루션의 여러 버전을 생성한 뒤 어떤 것이 테스트를 통과하는지 확인하는 것이었으며, 이 방법은 실제 성공 여부와 매우 강력한 연관성을 보였습니다. 그러나 연구자들이 빠른 경고 시스템 역할을 해주길 바랐던 더 저렴하고 빠른 방법들은 대부분 실패했습니다. 모델의 내부 수학적 계산을 살펴보거나 모델에게 스스로의 자신감을 평가하게 하는 기술들은 코드가 실제로 작동할지 예측하는 능력이 거의 없었습니다. 실제로 규모가 작은 모델의 경우, 모델에게 자신의 자신감을 평가하게 하면 결과값이 본질적으로 무작ful한 노이즈와 다를 바 없는 수치를 나타냈습니다.

연구진이 이러한 약한 불확실성 신호를 사용하여 코드를 수정하려고 시도했을 때, 결과는 예상보다 더 좋지 않았습니다. 그들은 모델이 확신이 없어 보일 때마다 코드를 자동으로 다시 쓰도록 하는 시스템을 구축했습니다. 하지만 이 방식은 결과를 개선하기는커녕 오히려 결과를 악화시켰습니다. 테스트한 여섯 가지 설정 중 다섯 가지 상황에서, 자기 수정 시스템은 오히려 성공률을 낮추어 모델이 첫 번째 답변을 그대로 두었을 때보다 더 많은 고장 난 코드를 생성하게 만들었습니다. 코드의 품질을 일관되게 향상시킨 유일한 전략은 코드를 일련의 테스트 케이스에 실행시켜 정답 여부를 검증하는 방식이었습니다. 이는 코드 생성에 있어 모델의 내부적인 의구심은 스스로 실수를 바로잡는 도구로서 유용하지 않음을 시사합니다.

이 연구는 불확실성 신호가 코드를 실제로 실행하고 테스트해야 할 필요성을 대체할 만큼 강력하지는 않지만, 여전히 역할을 할 수 있다고 결론짓습니다. 연구진은 이 저렴하고 불완전한 신호들이 '문지기(gatekeeper)' 역할을 할 수 있다고 제안합니다. 코드를 직접 수정하는 대신, 시스템은 빠른 불확실성 체크를 통해 추가적인 시간과 컴퓨팅 자원을 들여 전체적인 정밀 검증 테스트를 수행할 가치가 있는지를 결정할 수 있습니다. 이런 방식으로 불확실성 신호는 스스로 해결책이 되려 하기보다는, 가장 필요할 때만 고강도의 검증 작업을 활성화하는 스위치 역할을 하게 됩니다. 이 연구 결과는 모델이 스스로 더 주의 깊게 행동하는 법을 배울 수 있다는 기대를 반박하며, 신뢰할 수 있는 코드 생성을 위해서는 외부적인 검증이 필수적임을 지적하고 있습니다.