Code Agents under Split Specifications: An Empirical Study of Silent Failure in System Integration

소프트웨어의 세계에서, 서로 다른 컴퓨터 시스템들은 종종 업무를 수행하기 위해 서로 대화해야 합니다. 한 시스템은 날짜를 '일 우선(day first)' 방식으로 보내는 반면, 다른 시스템은 '월 우선(month first)' 방식을 기대할 수 있습니다. 어떤 시스템은 돈을 센트 단위로 계산하고, 다른 시스템은 달러 단위로 계산할 수도 있습니다. 이러한 작은 차이들은 대개 미스터리가 아닙니다. 그것들은 누군가, 어딘가에 기록해 둔 사실들입니다. 문제는 새로운 종류의 일꾼인 인공지능 에이전트에게 이 두 시스템 사이를 잇는 다리를 건설하라는 요청이 주어졌을 때 발생합니다. 이 에이전트들은 서로 다른 프로그램들을 연결하는 코드를 작성할 수 있는 강력한 도구입니다. 하지만 이들은 단순한 규칙에 따라 작동합니다. 바로 자신에게 주어진 지침 속의 정보만을 사용할 수 있다는 규칙입니다. 만약 지침에 날짜가 '일 우선'인지 '월 우선'인지 명시되어 있지 않다면, 에이전트는 정답을 알 수 없습니다. 에이로 반드시 선택을 해야만 합니다.

이 상황에서의 위험은 에이전트가 작동을 멈추거나 멈춰 서는 것이 아닙니다. 진짜 위험은 에이전트가 완벽하게 작동하면서도, 틀린 답을 내놓는 것입니다. 이를 '침묵하는 실패(silent failure)'라고 부릅니다. 코드는 오류 없이 실행되고, 기본적인 테스트를 통과하며, 인간 검토자에게는 올바르게 보이지만, 실제로는 다음 시스템에 잘못된 데이터를 전달합니다. 이는 기업과 조직에 매우 치명적인 문제인데, 오류가 즉각적으로 나타나지 않기 때문입니다. 대신 잘못된 숫자들이 하류로 흘러 들어가 기록, 재무 보고서, 그리고 의사결정을 오염시키며, 누군가 무언가 고장 났음을 깨닫기 훨씬 전부터 문제가 진행됩니다. 연구자들이 던진 질문은 간단했습니다. 이 지능형 에이전트들이 스스로 추측할 수 없는 누락된 사실에 직면했을 때, 그들은 멈춰서 도움을 요청할 것인가, 아니면 그냥 자신 있게 추측하여 시스템을 망가뜨릴 것인가?

한 연구자가 이 현상이 정확히 얼마나 자주 발생하는지 측정하기 위해 나섰습니다. 그는 인공지능 에이전트가 두 시스템을 연결하는 코드를 작성해야 하는 일련의 현실적인 과제들을 만들었습니다. 일부 과제에서는 에이전트에게 날짜가 '일 우선'이라는 사실이 명시적으로 주어졌습니다. 반면 다른 과제에서는 그 사실이 숨겨졌으며, 에이전트는 질문을 통해 이를 찾아내거나, 혹은 질문하지 않고 코드를 작성하도록 강제되었습니다. 연구자는 이를 소규모 오픈 소스 프로그램부터 오늘날 사용 가능한 가장 진보된 시스템에 이르기까지 여덟 가지의 서로 다른 인공지능 모델로 테스트했습니다. 연구자는 단순히 코드가 실행되는지만 본 것이 아니라, 그 누락된 사실에 의존하는 까다로운 시나리오를 포함하여 모든 가능한 상황에서 코드가 올바른 답을 생성하는지 확인했습니다.

결과는 이 시스템들이 어떻게 작동하는지에 대한 냉혹한 현실을 드러냈습니다. 에이전트에게 누락된 사실이 주어졌을 때, 그들은 약 88%의 확률로 올바른 연결을 구축하며 높은 성공률을 보였습니다. 이는 에이전트가 필요한 정보만 있다면 충분히 업무를 수행할 능력이 있음을 증명했습니다. 그러나 사실이 누락되었고 에이전트가 질문하는 것이 금지되었을 때, 상황은 급격히 변했습니다. 에이전트들은 멈추지 않았습니다. 그들은 혼란스러워하지도 않았습니다. 대신, 그들은 하나의 관례를 선택하여 코드를 작성했습니다. 이 중 62%의 경우, 그들이 작성한 코드는 '침묵하는 실패'였습니다. 코드는 깔끔하게 실행되었고 완벽해 보였지만, 잘못된 값을 반환했습니다. 이는 모델이 얼마나 발전했느냐와 상관없이 발생했습니다. 사실이 주어졌을 때 문제를 완벽히 해결할 수 있었던 가장 강력한 시스템조차도, 질문이 허용되지 않을 때는 거의 절반에 가까운 횟수에서 침묵하며 실패했습니다.

연구는 단순히 에이전트에게 질문을 허용하는 것이 이 문제를 해결할 수 있는지도 조사했습니다. 연구자는 그 답이 전적으로 '누가 듣고 있느냐'에 달려 있다는 것을 발견했습니다. 가장 진보된 모델들에게 질문을 허용했을 때, 그들은 거의 매 실행마다 질문을 던졌습니다. 그들은 추측하지 않고 진실을 구했습니다. 하지만 그 질문에 답해줄 사람이 아무도 없다면, 통합 과정은 단순히 중단될 뿐이었습니다. 작업이 멈추고, 코드는 생성되지 않았습니다. 이것은 또 다른 종류의 실패이지만, 이 역시 실패입니다. 연구자는 시스템이 제대로 작동하기 위해서는, 에이전트의 질문을 답변을 제공할 수 있는 인간이나 파트너 시스템으로 전달하도록 파이프라인(에이전트를 실행하는 프로세스)이 설계되어야 한다는 것을 발견했습니다. 단순히 열려 있는 채널을 갖는 것만으로는 부족하며, 질문에 답할 인력이 배치되어 있어야 합니다.

연구자는 또한 에이전트에게 누락된 사실을 모를 경우 코드 작성을 거부하라는 안전 규칙을 테스트했습니다. 이 규칙은 침묵하는 실패를 성공적으로 제거하여, 오류율을 거의 제로에 가깝게 낮추었습니다. 그러나 여기에는 혹독한 대가가 따랐습니다. 에이전트는 누락된 사실을 알 수 있는 정보가 있음에도 불구하고 코드 작성을 거부했습니다. 이로 인해 시스템은 쉽게 해결할 수 있었던 작업에서도 작동을 멈추게 되었고, 성공률은 81%에서 18%로 급감했습니다. 연구는 결론을 내렸습니다. 해결책은 에이전트를 더 똑똑하게 만들거나 더 신중하도록 강요하는 것이 아닙니다. 해결책은 프로세스 자체의 설계에 있습니다. 시스템은 조직 간의 경계에서 사실이 누락되었음을 감지하고, 그 질문을 답변할 수 있는 사람이나 시스템으로 전달하도록 설계되어야 합니다. 이러한 구체적인 배선이 없다면, 아무리 유능한 인공지능이라 할지라도 잘못된 곳으로 이어지는 다리를 자신 있게 건설하게 될 것입니다.