Position, not importance: what a likelihood threshold actually defers on

소프트웨어 개발의 세계에서 인공지능은 단순히 질문에 답하는 도구에서 인간과 함께 코드를 작성하는 파트너로 진화했습니다. 코딩 에이전트라고 불리는 이 디지털 비서들은 프로그래머가 입력하는 내용을 지켜보다가 작업 속도를 높이기 위해 다음 몇 줄의 코드를 제안합니다. 이러한 시스템의 핵심 과제는 언제 멈춰야 하는지를 아는 것입니다. 만약 비서가 너무 많이 작성하면, 보안 설정을 선택하거나 데이터베이스 명령을 선택하는 것과 같이 프로그래머를 위한 중요한 결정을 내리게 되어, 인간이 선택을 검토할 기회를 갖기도 전에 사실상 키보드를 빼앗아 버릴 수 있습니다. 반대로 너무 일찍 멈춘다면, 거의 아무런 도움도 되지 않습니다. 오랫동안 연구자들은 컴퓨터가 자신의 예측에 대해 스스로 얼마나 '놀라는지(surprised)'를 측정함으로써, 인간이 개입해야 하는 정확한 순간을 인식하는 법을 배울 수 있기를 희망했습니다. 모델이 다음에 올 내용에 대해 불확실해질 때, 그것은 어렵거나 중요한 결정이 내려지고 있는 시점이며, 그때가 멈추어 도움을 요청하기에 완벽한 타이밍이라는 이론이었습니다.

최근 한 연구는 컴퓨터 프로그래밍이라는 고도의 위험이 따르는 환경에서 이 이론을 테스트했습니다. 연구진은 수백 개의 짧은 코드 스니펫을 포함하는 특정 테스트 환경을 구축했는데, 이 중 일부는 보안 문을 열어두거나 약한 비밀번호 방식을 사용하는 것과 같은 위험한 선택을 포함하고 있었고, 다른 것들은 그저 무해하고 일상적인 코드였습니다. 연구진은 컴퓨터가 확신을 느끼는 동안에는 계속 글을 쓰고, 누적된 확신이 특정 선 아래로 떨어질 때만 멈추도록 하는 규칙을 적용했습니다. 이 규칙의 희망은 컴퓨터가 위험한 선택을 하기 전에 자연스럽게 멈추어 인간이 이를 검토할 수 있도록 하는 것이었습니다. 그러나 결과는 놀라운 괴리를 드러냈습니다. 컴퓨터는 선택이 위험해서 멈춘 것이 아니라, 텍스트를 예측하기 어려워졌기 때문에 멈췄습니다. 코드의 세계에서 가장 위험한 선택들은 종종 가장 흔하고 예측 가능한 것들이며, 진정으로 놀라운 텍스트는 대개 무작위적인 노이즈인 경우가 많습니다. 결과적으로, 시스템은 위험한 코드를 통째로 다 써버리기도 하는 반면, 무해하고 지루한 텍스트 중간에서 갑자기 멈춰버리기도 했습니다.

Shubhanandan T Y와 다야난다 사가르 대학교(Dayananda Sagar University) 연구진이 주도한 이 연구는 정확히 이런 현상이 얼마나 자주 발생하는지 측정하기 위해 CEDE-Bench라는 상세한 벤치마크를 구축했습니다. 테스트에는 프로그래머가 보안 검사를 비활성화할지 혹은 비밀번호를 어떻게 처리할지와 같이 안전한 경로와 위험한 경로 사이에서 선택해야 하는 112개의 구체적인 시나리오가 포함되었습니다. 또한 결정 사항이 없는 표준적인 보일러플레이트(boilerplate) 코드인 12개의 무해한 대조 항목도 포함되었습니다. 이 항목들에 대해 컴퓨터의 정지 규칙을 실행했을 때, 결과는 극명했습니다. 이전 사용자 연구에서 사용된 설정에서, 시스템은 위험한 분기(branch)를 33%의 사례에서 그대로 써 내려갔습니다. 어떤 경우에는 해킹에 취약한 SQL 데이터베이스 쿼리의 거의 전체를 완성하여, 19개의 토큰 중 18개를 작성한 후 멈추기도 했습니다. 이는 컴퓨터가 위험을 인지하지 못했기 때문이 아니라, 그 위험한 코드가 컴퓨터의 학습 데이터에 기반했을 때 정확히 예상했던 내용이었기 때문입니다.

연구는 시스템의 행동이 결정의 내용이 아니라 텍스트 내에서 결정이 어디에 나타나는지에 의해 거의 전적으로 결정된다는 것을 발견했습니다. 만약 위험한 선택이 제안의 첫 몇 단어 안에 나타나면, 컴퓨터는 거의 항상 그것을 써 내려갔습니다. 만약 동일한 위험한 선택이 이미 사용한 '확신의 예산'을 다 써버린 후 뒤늦게 나타난다면, 컴퓨터는 그 직전에 멈췄습니다. 연구진은 이 규칙이 결정의 중요성을 저울질하는 판사라기보다는 단순한 토큰 카운터처럼 작동한다는 것을 발견했습니다. 이 규칙은 컴퓨터가 주변 텍스트의 예측 가능성에 따라 일정 수의 단어를 쓰게 한 뒤 멈추게 합니다. 코드 내의 위험한 선택들은 흔히 표준적이지만 보안에 취약한 함수를 사용하는 것처럼 매우 예측 가능하기 때문에, 이 초기 구간 안에 포함되어 작성됩니다. 반면, 가짜 API 키와 같이 무작위적인 문자열을 포함하는 무해한 텍스트는 예측 불가능하며, 위험 요소가 없음에도 불구하고 컴퓨터를 조기에 멈추게 합니다.

이 발견은 컴퓨터가 자신의 불확실성을 측정함으로써 인간에게 양보하는 법을 배울 수 있다는 아이디어에 도전합니다. 연구는 시스템의 정지 지점이 위험한 항목과 무해한 항목 사이에서 통계적으로 구별할 수 없음을 보여주었습니다. 시스템은 위험한 코드 앞에서 멈추는 것만큼이나 빈번하게 무해한 보일러플레이트 코드 중간에서 멈췄습니다. 연구진은 이 규칙이 중요성에 대해 눈이 멀어 있다고 결론지었습니다었습니다. 그것은 특정 코드 라인이 데이터베이스를 삭제하거나 비밀번호를 유출할 수 있다는 것을 알지 못하며, 단지 자신이 몇 단어를 썼는지와 다음 단어가 얼마나 놀라운지만을 압니다. 실제로, 시스템은 무작위 형태의 문자열을 포함한 무해한 항목에서 위험한 패턴을 따르는 항목보다 더 자주 멈추는 경 경향을 보였습니다. 이는 규칙의 민감도를 조정하는 것으로는 문제를 해결할 수 없음을 의미합니다. 규칙을 더 빨리 멈추게 하면 유용한 코드를 더 빨리 못 쓰게 만드는 것이 되고, 더 늦게 멈추게 하면 더 많은 위험한 코드를 쓰게 만드는 것이 됩니다.

이 발견의 함의는 우리가 AI 비서를 구축하고 신뢰하는 방식에 있어 매우 중요합니다. 이 연구는 모델의 자체 확신도를 바탕으로 언제 인간에게 제어권을 넘길지 결정하는 전략이 프로그래밍에서는 결함이 있는 전략임을 시사합니다. 시스템은 인간의 입력이 중요한 결정을 위해 필요해서 양보하는 것이 아니라, 텍스트가 수학적으로 예측하기 어려워졌기 때문에 양보하는 것입니다. 연구진은 테스트에서 시스템이 무해한 보일러플레이트 코드의 약 3분의 1만을 작성하고 멈췄다는 점을 언급하며, 이는 시스템이 아무 이유 없이 프로그래머를 자주 방해하고 있음을 의미한다고 지적했습니다. 동시에, 가장 위험한 결정들을 위해서는 멈추지 못했는데, 그 결정들은 종-종 가장 일상적이고 예상 가능한 것들이었습니다. 이는 어시스턴트가 너무 침해적이거나 너무 위험한 상태, 즉 안전성과 유용성 사이의 중간 지점이 없는 상황을 만듭니다.

궁극적으로, 이 논문은 AI 어시스턴트의 메커니즘을 근본적으로 재고해야 한다고 주장합니다. 불확실성이 곧 중요성이라고 가정하는 현재의 접근 방식은 소프트웨어 개발의 실제 세계에서는 통하지 않습니다. 연구진은 모델이 불확실성을 통해 중요성을 인식하도록 가르치는 대신, 알려진 보안 결함을 찾아내는 정적 코드 검사기와 같이 더 단순하고 직접적인 방법을 사용하여 위험한 패턴을 포착해야 한다고 제안합니다. 이러한 도구들은 언제 멈출지 추측할 필요 없이, AI가 얼마나 확신을 느끼는지와 상관없이 특정 위험 패턴을 단순히 표시할 수 있습니다. 이 연구는 AI 어시스턴트가 유용할 수는 있지만, 멈춰야 할 때를 아는 능력은 지혜나 안전의 징표가 아니라, 단지 텍스트가 얼마나 예측 가능한지를 반영할 뿐이라는 명확한 경고를 전달합니다. 기술이 지루한 일상 업무와 중요한 결정 사이를 구분할 수 있게 되기 전까지, 스스로 그 구분을 내리도록 맡기는 것은 여전히 도박입니다.