SkillGate: Training In-Policy Skill Selection in Long-Horizon Agents

현대 인공지능의 지형에서 대규모 언어 모델은 단순한 텍스트 생성기를 넘어 복잡한 디지털 환경을 탐색할 수 있는 능동적인 에이전트로 진화했습니다. 이 시스템들은 단순히 세상을 설명하는 데 그치지 않고, 소프트웨어 도구를 사용하여 코드를 수정하고, 파일을 관리하며, 일련의 추론 단계와 행동을 통해 문제를 해결하며 세상과 상호작용합니다. 직면한 방대한 과업들을 처리하기 위해 개발자들은 절차적 지식을 '스킬(skill)'이라고 불리는 재사용 가능한 모듈로 패키징하기 시작했습니다. 각 스킬이 이름과 짧은 설명을 가진 채, 에이전트가 필요할 때 열어볼 수 있도록 기다리고 있는 거대한 디지털 도서관을 상상해 보십시오. 이 에이전트들에게 핵심적인 과제는 단순히 이 도서관에 접근하는 것이 아니라, 적절한 순간에 정확히 어떤 파일을 열어야 하는지 아는 것입니다. 이 결정은 작업 도중에, 종종 파일의 전체 내용을 확인하기도 전에 단 한 줄의 설명만을 바탕으로 내려져야 합니다. 만약 에이전트가 잘못된 스킬을 선택하면 전체 노력이 실패할 수 있지만, 지금까지는 에이전트에게 어떻게 올바르게 선택할지를 가르칠 신뢰할 만한 방법이 없었습니다.

연구자들은 이러한 에이전트를 훈련시키는 표준적인 방법이 충분할 것이라고 오랫동안 가정해 왔습니다. 즉, 에이전트에게 후보 스킬 목록을 제시하고, 작업을 시도하게 한 뒤, 최종 결과가 성공적일 때만 보상을 주는 방식입니다. 에이전트가 올바른 스킬을 선택하면 좋은 결과로 이어지기 때문에 자연스럽게 올바른 선택을 배우게 될 것이라는 아이디어였습니다. 그러나 새로운 연구는 이 접근 방식에 에이전트가 특히 길고 복잡한 작업에서 효과적으로 스킬을 선택하는 것을 방해하는 근본적인 결함이 있음을 밝혀냈습니다. 연구진은 에이전트가 작업을 완료하지 못했을 때, 무엇이 잘못되었는지를 알려주는 훈련 신호가 에이전트가 생성한 모든 단어에 동일하게 방송된다는 사실을 발견했습니다. 긴 행동 시퀀스 속에서, 선택한 스킬을 명명하는 몇 안 되는 단어들은 추론과 실행에 사용된 수천 개의 단어들에 의해 묻혀버립니다. 결과적으로, 에이전트는 자신의 초기 선택에 대해 거의 아무런 피드백을 받지 못하게 됩니다. 더 심각한 것은, 에이전트가 올바른 스킬을 선택했음에도 불구하고 나중에 다른 실수로 인해 실패했을 경우, 훈련 시스템이 초기 선택을 처벌하여 에이전트에게 올바른 결정이 사실은 틀렸다고 가르치게 된다는 점입니다. 저자들이 '선택자 크레딧 기아(selector credit starvation)'라고 부르는 이 현상은, 긴 시퀀스에서 가장 가치 있는 결정이 종종 가장 적고 가장 오해의 소지가 있는 지침을 받게 된다는 것을 의미합니다.

이를 해결하기 위해 연구팀은 '스킬게이트(SkillGate)'라고 불리는 새로운 훈련 방법을 개발했습니다. 스킬게이트는 전체 행동 시퀀스를 하나의 블록으로 취급하는 대신, 학습 과정을 두 개의 별도 채널로 분리합니다. 한 채널은 작업의 실행을 평가하며, 최종 목표 달성 여부에 따라 에이전트에게 보상을 주거나 벌칙을 줍니다. 다른 채널은 에이전트가 스킬을 명명하는 순간에만 집중합니다. 이 두 번째 채널은 선택한 파일을 식별하는 데 사용된 특정 단어들만을 살펴보고, "이것이 해당 작업에 적합한 단 하나의 올바른 파일이었는가?"라는 간단한 질문을 던집니다. 만약 에이전트가 올바른 스킬을 선택했고 그것을 단 한 번만 언급했다면, 나머지 작업의 성공 여부와 상관없이 해당 특정 선택에 대해 긍정적인 피드백을 받습니다. 만약 잘못된 파일을 선택했거나 여러 개의 파일을 선택했다면 부정적인 피드백을 받습니다. 스킬을 명명하는 결정을 작업의 결과로부터 격리함으로써, 이 시스템은 에이전트가 '나쁜 결과로 이어진 좋은 선택'과 '나쁜 결과로 이어진 나쁜 선택'을 구분하도록 보장합니다.

이 접근 방식의 결과는 복잡한 에이전트 과업을 포함하는 다섯 가지 서로 다른 벤치마크를 통해 테스트되었습니다. 연구진은 이 새로운 방법으로 90억 개의 파라미터를 가진 모델을 훈련시켰으며, 이를 전통적인 결과 중심 접근 방식으로 훈련된 모델과 비교했습니다. 스킬게이트로 훈련된 모델은 53.2%의 성공률을 기록하며, 결과 중심 훈련 모델의 47.0% 성공률을 크게 앞질렀습니다. 이러한 향상은 단순히 모델이 전반적으로 똑똑해진 문제가 아니었습니다. 행동 양식이 구체적이고 측정 가능한 방식으로 변화했습니다. 스킬게이트 모델은 오해의 소지가 있거나 무관한 스킬을 읽을 가능성이 훨씬 낮았으며, 잘못된 옵션에 대한 노출을 3분의 2로 줄였고, 전체적인 스킬 읽기 횟수도 적었는데, 이는 더 단호하고 정확한 선택 과정을 나타냅니다. 또한 연구는 단순히 모델을 크게 만드는 것이 문제를 해결하지 못한다는 것을 보여주었습니다. 훨씬 더 큰 모델들도 스킬게이트로 훈련된 더 작은 모델만큼 효과적으로 스킬 선택 과업을 학습하지 못했습니다.

이 연구의 의의는 에이전트가 무엇을 보느냐만큼 에이전트가 어떻게 배우느냐가 중요하다는 점을 입증했다는 데 있습니다. 연구진은 기존 방식으로 훈련된 모델들의 훈련 데이터를 감사함으로써 자신들의 진단을 검증했습니다. 그들은 작업이 길어질수록 스킬 명명 단어에 도달하는 학습 신호의 비율이 급격히 줄어들어 거의 보이지 않게 된다는 것을 발견했습니다. 더욱이 도착한 신호는 종로 종종 원래 있어야 할 것과 반대되는 경우가 많아, 작업이 결국 실패했다는 이유만으로 올바른 선택을 처벌했습니다. 스킬의 선택을 작업의 실행과는 별개로 그 자체의 가치로 판단하는 시스템을 구축함으로써, 연구진은 이러한 구조적 장벽을 제거했습니다. 이 새로운 방법은 에이전트가 올바른 도구를 선택하는 것이 그 자체로 별개의 가치 있는 기술이며, 명확하고 직접적인 지침을 받을 자격이 있다는 것을 배울 수 있게 해줍니다. 이 발견은 에이전트가 복잡한 환경에서 진정으로 신뢰할 수 있게 되기 위해서는, 그들의 훈련이 행동에 대한 결정과 행동의 결과를 구분할 수 있을 만큼 정밀해야 함을 시사합니다.