당신이 방금 아주 똑똑한 로봇에게 완벽한 케이크를 굽기 위한 일련의 지침을 건네주었다고 상상해 보세요. 당신은 지난번에 완벽하게 작동했던 레시피(하나의 "기술")를 로봇에게 주었습니다. 하지만 이번에 로봇은 오븐을 예열하는 것을 잊어버리거나, 설탕 대신 소금을 넣거나, 프로스팅 과정을 통째로 건너뛰기로 결정합니다. 로봇은 케이크를 굽는 법을 알고 있음에도 불구하고, 계속해서 세부 사항에서 실수를 저지릅니다. 이것이 현재 "LLM 에이전트"(복잡한 문제를 계획하고, 도구를 사용하며, 해결할 수 있는 거대 언어 모델 기반의 컴퓨터 프로그램)의 현실입니다. 이들은 매우 유능하지만, 다소 변덕스럽습니다. 이들은 방금 생각한 내용을 바탕으로 단어 하나하나를 생성하기 때문에, 대화의 아주 작은 변화만으로도 잘못된 길로 빠져 이전에 수행했던 작업을 실패하게 만들 수 있습니다. 과학자들은 이 에이전트들이 일기 예보처럼 예측 불가능한 것이 아니라, 스위스 시계처럼 신뢰할 수 있기를 원합니다.

여기에 이러한 디지털 에이전트들을 위한 "보디가드"이자 "코치" 역할을 하도록 설계된 새로운 시스템, SKILLSENTRY가 등장했습니다. 이것은 로봇 제빵사 바로 옆에 서 있는 매우 주의 깊은 부주방장이라고 생각하면 됩니다. 로봇에게 케이크 굽는 법 전체를 새로 가르치려고 하는 대신(이는 어렵고 느린 일입니다), SKILLSENTRY는 로봇의 모든 움직임을 실시간으로 관찰합니다. 이 시스템은 원래의 레시피와 과거에 로봇이 성공하거나 실패했던 모든 기록을 연구하여 만든 특별한 체크리스트("런타임 가이드")를 가지고 있습니다. 만약 로봇이 오븐을 예열하기 전에 케이크를 오븐에 넣으려 한다면, SKILLSENTRY는 부드럽게 로봇을 멈춰 세우며 이렇게 말합니다. "잠깐, 단계를 건너뛰었어요! 다시 수정합시다." 그리고는 로봇이 다시 궤도에 오를 수 있도록 안내합니다. 논문에 따르면 이렇게 함으로써 에이전트들은 훨씬 더 일관적이 되어, 평균적으로 작업 성공률이 24.1% 높아졌으며, 동일한 일을 요청했을 때 무작위적인 실수를 저지르는 현상도 멈추게 되었습니다.

문제점: "변덕스러운" 천재

당신에게 어떤 퍼즐이든 풀 수 있는 천재적인 친구가 있다고 상상해 보세요. 하지만 그 친구는 쉽게 주의가 산만해집니다. 만약 당신이 수학 문제를 풀라고 하면 완벽하게 풀어낼 것입니다. 하지만 5분 후에 똑같은 질문을 다시 던진다면, 그 친구는 질문의 표현이 아주 미세하게 달라졌다는 이유만으로 혼란에 빠져 틀린 답을 내놓을 수도 있습니다. 이것이 LLM 에이전트에게 일어나는 현상입니다. 그들은 특정 작업(예: 금융 데이터 분석 또는 컴퓨터 코드 수정)을 수행하는 방법이 적힌 사전 작성된 가이드인 "기술(skills)"을 가지고 있습니다. 하지만 이러한 가이드가 있음에도 불구하고, 에이전트들은 종종 경로를 벗어납니다. 중요한 단계를 건너뛰거나, 잘못된 도구 설정을 사용하거나, 지침의 작은 변화 때문에 혼란을 겪기도 합니다. 연구자들은 에이전트가 작업을 수행할 수 있음에도 불구하고, 일관되게 수행하지 못하는 경우가 많다는 것을 발견했습니다.

해결책: "스마트한 보디가드"

이 논문의 저자들은 이를 해결하기 위해 SKILLSENTRY를 구축했습니다. 그들은 로봇의 뇌를 재프로그래밍하려고 하지 않았습니다(그것은 거대하고 복잡한 작업입니다). 대신, 로봇이 작업하는 동안 로봇을 감싸는 안전망을 만들었습니다.

작동 방식은 다음과 같습니다:

1. 규칙집 (DSL): 먼저, SKILLSENTRY는 에이전트의 "기술 문서"(레시피)를 읽고 이를 엄격하고 컴퓨터가 읽을 수 있는 체크리스트로 변환합니다. 이는 작업을 "1단계: 데이터 로드", "2단계: 데이터 정제", "3단계: 필터 적용"과 같이 아주 작은 단계로 나눕니다.
2. 학습 계획 (경험 채굴): 다음으로, 로봇의 과거 시도 기록을 살펴봅니다. 로봇이 성공했던 때와 실수했던 때를 모두 연구합니다. 이를 통해 "아, 로봇이 필터를 적용하기 전에 데이터를 정제하는 것을 자주 잊어버리는구나" 또는 "필터링할 때 잘못된 숫자를 사용하는 경향이 있구나"와 같은 교훈을 얻습니다. 이러한 교훈들은 구체적인 경고와 팁으로 변환됩니다.
3. 실시간 감시: 이제 로봇이 작업을 시작합니다. SKILLSENTRY는 모든 움직임을 지켜봅니다.
   • "엔터" 체크: 로봇이 새로운 단계를 시작하려는 순간, SKILLSENTRY는 팁을 속삭입니다: "시작하기 전에 데이터 순서를 확인하는 것을 잊지 마세요!"
   • "정지" 표지판: 만약 로봇이 단계를 건너뛰거나 과거의 실수와 유사한 행동을 하려 한다면, SKILLSENTRY는 일시 정지 버튼을 누릅니다. 로봇이 진행하지 못하게 막는 것입니다. 대신 이렇게 말합니다: "잠깐, 2단계를 건너뛰었어요! 돌아가서 다시 하세요."
   • "완료" 체크: 로봇이 "다 끝났습니다!"라고 말하기 전에, SKILLSENTRY는 모든 필수 단계가 실제로 완료되었는지 확인하기 위해 체크리스트를 마지막으로 한 번 더 점검합니다.

자기 개선의 마법

가장 멋진 점은 SKILLSENTRY가 작업할수록 더 똑똑해진다는 것입니다. 로봇이 작업을 마칠 때마다(성공했든 실패했든), SKILLSENTRY는 그 이야기를 저장합니다. 이 새로운 이야기들을 사용하여 체크리스트와 경고를 업데이트합니다. 이는 마치 경기를 관람하며 새로운 실수를 발견하면, 다음 연습을 위해 즉시 새로운 훈련법을 작성하는 코치와 같습니다. 논문은 SKILLSENTRY가 더 많은 이야기를 수집할수록 로봇의 성능이 점점 좋아지고 시간이 지남에 따라 안정화된다는 것을 보여줍니다.

수치가 말해주는 것

연구진은 두 가지 인기 있는 로봇 에이전트와 네 가지 서로 다른 "두뇌" 모델(기저에 깔린 AI 기술)을 사용하여 15가지 서로 다른 기술(경제 트렌드 분석, 컴퓨터 코드 수정, 데이터 시각화 등)에 대해 이 시스템을 테스트했습니다.

• 성공률: 평균적으로 SKILLSENTRY는 에이전트의 성공률을 24.1% 높였습니다. 즉, 에이전트가 60%의 확률로 성공했다면, 77% 이상으로 뛰어올랐다는 뜻입니다.
• 일관성: 이전의 에이전트들은 다소 불안정했습니다. 똑같은 작업을 다섯 번 요청하면 세 번은 성공하고 두 번은 실패할 수도 있었습니다. SKILLSENTRY와 함께라면 이들은 훨씬 더 안정적이 되었습니다. 성능의 "흔들림"(표준 편차)이 41.1% 감소했습니다.
• 속도: 이 시스템은 매우 가볍습니다. "생각하는 시간"(토큰 비용)을 약 8.7% 정도만 추가했을 뿐이며, 실제 컴퓨터 처리 시간은 1% 미만으로 늘어났습니다. 이 정도는 엄청난 신뢰도 향상을 위해 지불할 만한 작은 대가입니다.

SKILLSENTRY가 하지 않는 것

SKILLSENTRY가 하지 못하는 일도 알아두는 것이 중요합니다. 이 시스템은 로봇에게 완전히 새로운 기술을 처음부터 가르치지 않습니다. 만약 로봇이 과업을 이해하기에 너무 무지하다면, SKILLSENTRY는 이를 고칠 수 없습니다. 이 시스템은 로봇이 이미 그 일을 할 기본적인 능력은 갖추고 있지만, 단지 세부 사항에서 계속 실수를 저지를 때만 작동합니다. 또한, 로봇이 적절한 기술을 선택하는 능력을 고치는 것이 아니라, 일단 기술을 선택한 후에는 그 지침을 잘 따르도록 만드는 데 집중합니다.

핵심 요약

이 논문은 우리가 AI 에이전트를 위해 항상 더 크고 똑똑한 뇌를 만들 필요는 없다는 점을 시사합니다. 때로는 그들이 작업하는 동안 그들을 지켜볼 더 나은 방법이 필요할 뿐입니다. 엄격한 체크리스트와 과거의 실수로부터 얻은 교훈을 결합하고, 실시간으로 부드럽게 개입함으로써, 우리는 변덕스럽고 일관성 없는 로봇을 신뢰할 수 있고 성실한 파트너로 바꿀 수 있습니다. 결과는 이러한 "런타임 보증(runtime assurance)"이 AI 에이전트를 실제 환경에서 사용할 수 있을 만큼 신뢰할 수 있게 만드는 강력한 방법임을 보여줍니다.