Program Semantic Inequivalence Game with Large Language Models

당신이 아주 똑똑하지만 글자 그대로만 이해하는 로봇에게 컴퓨터 코드를 쓰는 법을 가르치고 있다고 상상해 보십시오. 당신은 이렇게 생각할지도 모릅니다. "집을 짓는 예시를 백만 개 보여주면, 로봇이 초고층 빌딩을 짓는 법을 알게 될 거야." 하지만 컴퓨터는 까다롭습니다. 패턴을 복사하는 데는 뛰어나지만, 코드의 '심층적인 논리'—예를 들어 레시피의 아주 작은 변화가 어떻게 케이크를 무너뜨릴 수 있는지, 혹은 숨겨진 백도어가 어떻게 디지털 주택에 도둑을 들여보낼 수 있는지와 같은 것—를 이해하라고 요청받으면 종종 비틀거립니다. 이것이 바로 프로그램의 겉모습이 아니라 코드가 실제로 무엇을 하는지를 연구하는 분야인 '프로그램 의미론(program semantics)'의 세계입니다.

로봇에게 이 심층적인 논리를 가르치기 위해, 우리는 보통 인간 교사가 모든 실수를 지적해 주어야 하는데, 이는 느리고 비용이 많이 듭니다. 또는 로봇이 스스로 연습하게 할 수도 있지만, 로봇은 종종 쉬운 것들만 연습하고 어려운 퍼즐은 무시하곤 합니다. 이 논문은 AI '코더'들을 고도의 논리 게임의 플레이어로 변모시킴으로써 이들을 훈련하는 새로운 방법을 탐구합니다. 단순히 정답을 암기하는 대신, AI는 거의 동일해 보이는 두 개의 코드 사이에서 보이지 않는 차이점을 찾아내는 법을 배워야 합니다. 만약 AI가 이 게임을 마스터할 수 있다면, 본 적도 없는 언어에서도 보안 버그를 찾아내고 더 안전한 소프트웨어를 작성하는 능력이 훨씬 좋아질 것입니다.

---

위대한 코드 탐정 게임

이 논문의 저자인 Antonio Valerio Miceli Barone, Vaishak Belle, Ali Payani는 **SInQ(Semantic Inequivalence Game, 의미적 불일치 게임)**라고 불리는 영리한 훈련법을 발명했습니다. 이것을 '틀린 그림 찾기' 디지털 버전이라고 생각하십시오. 다만 두 명의 AI 에이전트가 서로를 이기기 위해 끊임없이 머리싸움을 벌이는 게임입니다.

플레이어: 앨리스(Alice)와 밥(Bob)
서로 마주 보고 앉아 있는 두 명의 AI 탐정, 앨리스와 밥을 상상해 보십시오.

• 앨리스는 장난꾸러기입니다. 그녀는 코드 조각(프로그램 P라고 부릅시다)을 부여받고, 겉보기에는 거의 똑같지만 동작은 약간 다르게 작동하는 '가짜' 버전(프로그램 Q)을 만들어야 합니다. 또한 그녀는 두 프로그램이 다르다는 것을 증명할 수 있는 특정 '테스트 입력값'(예: 특정 숫자나 단어)을 찾아내야 합니다. 만약 차이점을 찾아내지 못하면 그녀는 패배합니다.
• 밥은 탐정입니다. 그는 두 프로그램 P와 Q를 모두 보여받습니다. 그의 임무는 "이것들이 실제로 다른가?"를 파악하는 것입니다. 만약 다르다면, 그는 그 차이를 드러낼 구체적인 테스트 입력값을 찾아내야 합니다. 찾아내면 승리하고, 놓치면 앨리스가 승리합니다.

훈련 루프
처음에 앨리스는 까다로운 가짜를 만드는 데 서툴고, 밥은 그것을 찾아내는 데 능숙합니다. 하지만 이들이 반복해서 게임을 수행함에 따라 점점 더 나아집니다. 앨리스는 더 찾아내기 어려운 가짜를 만드는 법을 배우고, 밥은 더 깊고 미묘한 단서를 찾는 법을 배웁니다. 이들은 체스 그랜드마스터가 매번 똑똑해지는 컴퓨터를 상대로 연습하는 것과 유사한 '자기 대국(self-play)' 루프를 통해 서로를 훈련합니다.

여기서 핵심은 AI에게 "잘했어!"라거나 "틀렸어!"라고 말해줄 인간 교사가 필요 없다는 점입니다. 게임에는 내장된 심판인 '컴퓨터 샌드박스'가 있습니다. 그들은 단순히 테스트 입력값으로 두 프로그램을 실행하기만 하면 됩니다. 결과가 다르면 입력값이 유효한 것이고 게임은 공정하게 진행됩니다. 결과가 같다면 속임수가 실패한 것입니다. 즉, AI는 추측하는 것이 아니라 직접 해보면서 배웁니다.

연구 결과

연구진은 이 게임이 실제 코딩 작업에 얼마나 도움이 되는지 확인하기 위해 두 가지 서로 다른 AI 모델(gpt-4o-mini 및 gpt-4.1-nano)을 대상으로 테스트를 진행했습니다.

1. "파이썬 내장 식별자 교체" 챌린지
그들은 AI에게 '파이썬 내장 식별자 교체(Python builtin identifier swap)'라는 악명 높은 퍼즐을 테스트했습니다. 파이썬의 표준 도구인 print와 len이 서로 바뀌어 있는 프로그램을 상상해 보십시오. 인간에게는 혼란스럽지만, AI에게는 코드는 정상적으로 보이지만 동작은 이상하게 작동하기 때문에 악몽과 같습니다.

• 결과: 게임을 플레이한 AI(밥)는 한 모델에서 이 속임수를 포착하는 능력이 현저히 향고되었습니다. gpt-4o-mini의 경우, 추가 힌트 없이 정확도가 매우 낮은 1.65%에서 5.35%로 뛰어올랐습니다. 그러나 다른 모델인 gpt-4.1-nano의 결과는 엇갈렸습니다. 힌트가 없을 때 훈련이 오히려 성능을 약간 떨어뜨렸으며, '생각의 사슬(chain-of-thought, AI가 자신의 추론 과정을 말로 풀어서 설명하는 방식)' 접근법을 사용했을 때 정확도가 더 떨어졌습니다. 이는 게임이 AI에게 더 깊이 들여다보도록 가르쳤지만, 그 이점이 사용된 특정 모델에 크게 의존한다는 것을 시사합니다.

2. 보안 버그 찾기 (취약점 탐지)
연구팀은 이 훈련이 보안 허점을 찾는 데 도움이 되는지 테스트했습니다. 그들은 두 가지 벤치마크를 사용했습니다.

• PySecDB: 보안 문제를 해결했는지 확인하기 위한 파이썬 코드 변경 데이터셋입니다.
• CodeXGLUE: 알려진 버그를 찾기 위한 C/C++ 코드(AI가 훈련받은 언어와 다른 언어!) 데이터셋입니다.
• 결과: 게임을 플레이한 AI는 훈련 중에 본 적 없는 C/C++ 언어에서도 이러한 버그를 찾는 데 작지만 일관된 개선을 보였습니다. 이는 매우 중요한 성과로, AI가 단순히 파이썬 정답을 암기한 것이 아니라 '논리 포착'이라는 일반적인 기술을 배웠음을 시사합니다.

3. 새로운 코드 작성
마지막으로, 게임이 AI가 처음부터 새로운 코드를 작성하는 데 도움이 되는지 확인했습니다. 결과는 엇갈렸습니다. AI는 코드를 작성하는 능력이 크게 좋아지지는 않았지만, 나빠지지도 않았습니다. 저자들은 이를 두고 타당하다고 설명합니다. 그들이 훈련시킨 것은 '작가(앨리스)'가 아니라 '탐정(밥)'이었기 때문에, 탐정은 오류를 포착하는 데는 더 날카로워졌지만 반드시 더 나은 작가가 되지는 않았다는 것입니다.

종합적인 결론

이 논문은 이 '의미적 불일치 게임(Semantic Inequivalence Game)'이 AI에게 단순한 패턴이 아닌 코드의 '논리'를 이해하도록 가르치는 강력한 방법임을 시사합니다. 두 프로그램 사이의 미세하고 보이지 않는 차이점을 찾도록 강제함으로써, AI는 더 주의 깊고 논리적으로 변합니다.

하지만 저자들은 이것이 모든 코딩 문제를 해결하는 마법 지팡이는 아니라는 점을 분명히 합니다. 개선 효과는 실재했지만 일부 영역에서는 완만했으며, 이 방법은 AI가 정답을 확인할 수 있도록 코드를 실행할 수 있어야 한다는 점에 의존합니다. 또한 예산 제한으로 인해 몇 라운드 동안만 게임을 진행했으므로, 더 오랫동안 게임을 지속한다면 더 많은 잠재력이 있을 수 있다고 언급했습니다.

요약하자면, 코딩 훈련을 '차이점 찾기' 게임으로 바꿈으로써, 연구진은 AI가 단순한 코드 생성기를 넘어, 다른 모델이 놓칠 수 있는 보안 위험과 혼란스러운 논리를 포착할 수 있는 더 날카롭고 논리적인 탐정이 될 수 있음을 보여주었습니다. 이는 AI를 단순한 코드 생성자가 아닌, 진정한 코드 추론기로 만드는 단계입니다.