Evaluating Inference-Time Defenses Against Package Hallucination in LLM-Generated Code

현대 소프트웨어 개발 세계에서 프로그래머들은 코드를 작성하기 위해 인공지능 어시스턴트에 자주 의존합니다. 대규모 언어 모델로 알려진 이 시스템들은 함수 전체를 제안하거나 몇 초 만에 오류를 수정할 수 있는 지치지 않는 파트너 역할을 합니다. 이러한 제안이 작동하게 만들기 위해, 이 모델들은 데이터베이스 연결이나 그래프 생성과 같은 특정 작업을 처리하는 사전 작성된 코드 모음인 외부 소프트웨어 패키지를 추가하도록 자주 권장합니다. 문제는 인공지능이 실제로는 존재하지 않지만 완벽하게 진짜처럼 들리는 패키지 이름을 만들어낼 때 발생합니다. 이 현상을 '패키지 환각(package hallucination)'이라고 부릅니다. 만약 개발자가 이 제안을 맹목적으로 믿고 존재하지 않는 패키지를 설치하려고 시도한다면, 가짜 이름을 등록한 해커가 만든 악성 파일을 의도치 않게 다운로드하게 될 수 있습니다. 이는 소프트웨어 공급망에 위험한 백도어를 생성하여, 공격자가 수백만 명이 사용할 수 있는 애플리케이션에 해로운 코드를 주입할 수 있게 합니다.

한 연구팀은 이러한 환각이 얼마나 자주 발생하는지, 그리고 코드가 완성되기도 전에 이를 막을 수 있는 특정 기술이 있는지 이해하기 위해 연구를 시작했습니다. 그들은 비용이 적게 들어 널리 사용되지만, 더 큰 모델들에 비해 실수를 저지를 가능성이 높은 소규모 오픈 소스 인공지능 모델들에 집중했습니다. 연구진은 Python, JavaScript, Ruby, Rust의 네 가지 서로 다른 프로그래밍 언어에 걸쳐 이 모델들을 테스트했습니다. 그들은 기존의 환각 측정 방식들이 결함이 있다는 것을 발견했습니다. 많은 이전 연구들은 프로그래밍 언어와 함께 제공되는 표준 내장 도구들이 외부 패키지 라이브러리에 나열되어 있지 않다는 이유만으로 이를 환각으로 간주했습니다. 이러한 계산 오류를 바로잡음으로써, 연구팀은 Python의 환각 발생률이 이전에 생각했던 것보다 실제로 더 낮지만 여전히 유의미하다는 것을 발견했습니다.

그들 연구의 핵심은 모델이 생성하는 가짜 패키지 이름의 수를 줄일 수 있는지 확인하기 위해 일곱 가지 서로 다른 전략을 테스트하는 것이었습니다. 일부 전략은 모델이 다음 단어를 선택하는 방식을 바꾸는 것이었고, 다른 전략은 모델에게 자신의 작업을 검토하거나 답변하기 전에 검증된 데이터베이스에서 정보를 찾아보도록 요청하는 것이었습니다. 연구진은 모든 상황에서 가장 잘 작동하는 단일 방법은 없다는 것을 발견했습니다. 모델이 말하기 전에 실제 패키지 데이터베이스를 참조하도록 강제하는 '검색 증강 생성(Retrieval-Augmented Generation)'이라는 기술은 대부분의 언어에서 매우 효과적이었으며, 오류율을 크게 낮추었습니다. 그러나 동일한 기술이 JavaScript에서는 때때로 상황을 악화시켰는데, 이는 해결책이 사용되는 특정 언어에 크게 의존한다는 점을 시사합니다. 모델에게 자신의 제안을 비판하고 다시 쓰도록 요청하는 또 다른 접근 방식은 규모가 큰 모델에는 잘 작동했지만, 자신의 실수를 인식하지 못하는 가장 작은 모델들에는 실패했습니다.

연구팀은 또한 모델의 제안이 단순히 옳은지를 넘어 실제로 유용한지를 측정하는 새로운 방법을 도입했습니다. 그들은 환각을 성공적으로 막아낸 일부 전략들이 모델이 패키지를 전혀 제안하지 못하게 하여 개발자에게 아무것도 남기지 않는 상황을 만든다는 것을 발견했습니다. 오류를 줄이면서도 여로 유용한 제안을 제공하는 가장 균형 잡힌 접근 방식은, 모델이 확률이 낮은 옵션에 기대를 거는 대신 매번 가장 가능성 높은 다음 단어를 단순히 선택하는 직관적인 방법이었습니다. 이 '탐욕적(greedy)' 접근 방식은 테스트된 모델들에 대해 안전성과 유용성 사이에서 최선의 절충안을 제공했습니다.

아마도 가장 놀라운 발견은 연구진이 적대적인 환경을 대상으로 이러한 방어책들을 테스트했을 때 나타났습니다. 그들은 가짜 이름을 지시문에 직접 삽입하여 모델이 가짜 패키지를 추천하도록 의도적으로 유도하는 프롬프트를 만들었습니다. 이러한 적대적 조건 하에서 오류율은 일반적인 요청에 비해 무려 45 퍼센트 포인트까지 급등했습니다. 이 적대적인 설정에서 모델이 단어를 선택하는 방식을 바꾸는 단순한 트릭들은 완전히 실패했습니다. 오직 실제 데이터베이스와 대조하여 확인하거나 자신의 논리를 엄격하게 점검하도록 강제하는 방법만이 공격에 저항할 수 있었습니다. 연구진은 단순한 조정이 일반적인 사용에는 도움이 될 수 있지만, 결연한 공격자로부터 소프트웨어를 보호하기 위해서는 외부 세계와 사실을 검증하거나 자신의 논리를 철저히 점검할 수 있는 시스템이 필요하다고 결론지었습니다. 이 연구는 최선의 방어책이 '하나의 크기로 모두에게 맞는(one-size-fits-all)' 해결책이 아니라, 특정 위협과 프로그래밍 언어에 맞춰 신중하게 선택된 것이라는 점을 강조합니다.