From Business Requirements to Test Assertions: Evaluating LLM-Generated Oracles on Real Bugs

당신이 탐정이 되어 미스터리를 풀고 있다고 상상해 보세요. 하지만 당신에게는 범죄 현장 사진도, 용의자의 자백도 없습니다. 오직 피해자의 상사가 남긴 모호한 쪽지 하나뿐입니다. "도둑이 아마 빨간색 빛나는 상자를 가져갔을 거야, 하지만 파란색 상자였을지도 몰라. 그리고 초록색 상자는 확실히 가져가지 않았어." 당신의 임무는 미래에 도둑을 어떻게 찾아낼 수 있는지 알려주는 규칙(즉, '오라클')을 작성하는 것입니다.

이것이 바로 이 논문이 다루는 과제입니다. 소프트웨어의 세계에서 '테스트 오라클(test oracle)'이란 바로 그 규칙서입니다. 테스트가 "프로그램이 X를 수행하면, 결과는 Y여야 한다"라고 말해주는 부분이죠. 수년 동안 이 규칙서를 쓰는 일은 매우 골치 아픈 일이었습니다. 특히 비전문가들이 AI를 사용하여 코드를 작성할 때, 그 코드가 실제로 맞는지 확인할 방법이 없기 때문입니다.

연구진은 다음과 같은 질문을 던졌습니다: "초지능형 AI(대규모 언로 모델, LLM)가 그 모호한 상사의 쪽지를 읽고, 실제 코드나 범죄 현장을 전혀 보지 못한 상태에서 스스로 완벽한 규칙서를 써낼 수 있을까?"

이를 알아내기 위해, 그들은 10개의 실제 과거 소프트웨어 버그(디지털 기계의 작은 결함 같은 것)를 활용한 "훈련 캠프"를 설정했습니다. 각 버그에 대해 그들은 다음과 같이 영리한 작업을 수행했습니다:

1. 버그가 어떻게 수정되었는지 살펴보았습니다.
2. 그 수정 사항을 평이한 영어 문장인 "비즈니스 요구사항"(모호한 쪽지)으로 번le했습니다.
3. 직접 '완벽한' 규칙서(골드 스탠다드)를 작성했습니다.
4. 그런 다음, 다섯 가지 서로 다른 AI 모델(DeepSeek-V3, Llama-3, Mistral-7B 등)에게 오직 그 평이한 영어 쪽지만을 사용하여 자신들만의 규칙서를 쓰도록 요청했습니다.

중대한 발견: AI는 '현실주의자'가 아니라 '몽상가'이다
결과는 "와우"와 "잠깐만"이 섞인 모습이었습니다.

먼저, AI 모델들은 작동하는 규칙서를 써낼 수 있었습니다! 그들은 그저 횡설수설하는 것이 아니었습니다. 실제로 어떤 버그들에 대해서는 꽤 잘 해냈습니다. 예를 들어, 시간대(Time zone)에 관한 버그(Bug 8)의 경우, 모든 AI 모델이 만점을 받았습니다. 하지만 특정 방식으로 숫자를 세는 까다로운 버그(Bug 3)에서는 모델들이 고전하며 점수가 0.20까지 떨어지기도 했습니다(1.0이 만점인 척도 기준).

가장 재미있는 점은, AI 모델들이 코드의 '실제 내용'보다는 규칙의 '아이디어'를 따르는 데 더 뛰어났다는 것입니다.

연구진이 AI의 규칙서를 '골드 스탠다드'(무엇이 일어나야 하는지에 대한 인간이 작성한 의도)와 비교했을 때, AI는 평균적으로 약 88%의 확률로 일치했습니다. 하지만 AI의 규칙서를 '실제 컴퓨터 코드'(테스트 대상 시스템)와 비교했을 때는 일치율이 약 85%로 떨어졌습니다.

이렇게 생각해보세요: 만약 당신이 그림을 보고 "빠른 자동차"를 묘사하라고 했을 때, AI는 매끈한 빨간 스포츠카를 묘사할 수 있습니다(그림과 일치). 하지만 실제 차고에 있는 차가 녹슬고 느린 트럭이라면, AI의 묘사는 그 트럭과 일치하지 않습니다. AI는 요구사항의 '단어'를 이해하는 데 너무 능숙해서, 가끔 실제 코드가 실제로 무엇을 하는지 확인하는 것을 잊어버립니다. 즉, AI는 "코드 현실주의자"라기보다는 "명세 몽상가(specification dreamer)"인 것입니다.

"난이도"의 신화: 쪽지가 얼마나 혼란스러운지는 중요하지 않다
연구진은 궁금했습니다. "혹시 쪽지가 너무 혼란스럽거나 기술적인 전문 용어가 너무 많아서 AI가 실패하는 것일까?" 그들은 모든 쪽지를 '기술적 수준'과 '모호함(vague)'에 대해 1점에서 5점 사이의 척도로 평가했습니다.

그들은 다음과 같은 패턴을 예상했습니다: "아, 쪽지가 더 혼란스러울수록 AI의 성능은 떨어진다."
하지만 그런 일은 일어나지 않았습니다.

연구진은 쪽지가 얼마나 혼란스러운지와 AI가 얼마나 잘 수행하는지 사이에는 명확한 연관성이 없다고 제안합니다. 쪽지가 매우 단순하든 매우 기술적이든, AI의 성능은 예측 가능한 선을 따르지 않았습니다. 이는 마치 수수께끼의 난이도가 얼마나 큰 단어를 사용하느냐에 달려 있는 것이 아니라, 수수께끼 자체의 '논리'에 달려 있는 것과 같습니다. AI는 문구가 어떻게 표현되었는지와 상관없이 특정 유형의 논리(복잡한 숫자 계산이나 유니코드 문자 처리 등)에서 어려움을 겪었습니다.

얼마나 확신할 수 있는가?
저자들은 이것이 하나의 파일럿 연구(pilot study), 즉 이 아이디어가 가능한지 확인하기 위한 작고 초기적인 실험임을 신중하게 밝히고 있습니다. 그들은 Java의 "Lang" 라이브러리라는 한 가지 프로젝트의 10개 버그만을 테스트했습니다. 그들은 이 문제가 완전히 해결되었다거나 AI가 모든 곳에서 인간 테스터를 대체할 수 있다고 주장하는 것이 아닙니다.

그들은 다음과 같은 사실을 발견했습니다:

• 그렇다, AI는 평이한 영어로부터 유용한 규칙서를 생성할 수 있다.
• 그렇다, AI는 코드의 실제 내용보다 요구사항의 '의도'를 맞추는 데 더 뛰어나다.
• 아니다, 요구사항의 "혼란스러움"이 AI의 성과를 예측해주지는 않는다.
• 하지만, AI는 여전히 실수를 저지르며, 특히 까다로운 수학이나 특이한 문자 처리를 할 때 그렇다. 또한 성능이 낮은 모델들은 실행조차 되지 않는 코드를 쓰기도 한다.

결론
이 논문은 AI가 비즈니스 요구사항으로부터 테스트 규칙을 작성하는 유망한 조수임을 시사합니다. 마치 상사의 비전은 완벽하게 이해하지만, 실제 기계의 작고 지저한 세부 사항은 놓칠 수 있는 유능한 인턴과 같습니다. AI는 모든 것을 해결하는 마법 지팡이는 아니지만, 특히 숫자가 까다로워질 때 우리가 그 결과물을 다시 한번 확인한다면, 버그를 더 빨리 잡아내는 데 도움이 될 강력한 새로운 도구가 될 수 있습니다.