로봇에게 고장 난 토스터기를 고치는 법을 가르치고 있다고 상상해 보세요. 옛날에는 모든 단계를 일일이 손으로 적어야 했습니다. "플러그를 확인하라", "타버린 전선을 찾아라", "리셋 버튼을 눌러라"와 같이 말이죠. 만약 로봇이 실수를 하면, 당신은 그 오류를 찾아내어 매뉴얼을 다시 쓰고 처음부터 다시 시작해야 했습니다. 이는 느리고 비용이 많이 들며, 로봇이 스스로의 실패로부터 즉각적으로 배우지 못한다는 문제점이 있었습니다.

최근에 과학자들은 로봇에게 무언가를 고쳐보게 한 뒤, "어떻게 했나요?"라고 물어보는 방식을 도입하기 시작했습니다. 로봇은 자신의 작업물을 살펴보고, 어떤 단계를 놓쳤는지 깨달은 뒤, 스스로의 지침을 다시 작성하도록 시도합니다. 이것을 "자기 진화(self-evolution)"라고 부릅니다. 하지만 여기에는 함정이 있습니다. 대부분의 로봇은 자신을 설명할 기회를 단 한 번만 얻는다는 점입니다. 그들은 토스터기를 고치려고 시도하고, "잘했음" 또는 "못했음"이라는 짧은 점수만 받은 채 멈춰버립니다. 그들은 "잠깐, 만약 플러그가 헐거우면서 동시에 전선이 타버린 경우라면 어떡하지?"와 같은 질문을 던졌을 때 드러나는 미묘한 실수들을 놓칩니다. 그들은 문제의 더 깊은 층위를 보지 못해 정체기에 빠지게 됩니다.

여기서 SkillEvo라는 새로운 아이디어가 등장합니다. 이 프레임워크는 AI '에이전트'(똑똑한 컴퓨터 프로그램)가 단순히 한 번의 빠른 체크가 아니라, 길고 주고받는 대화를 통해 자신의 직무를 개선할 수 있도록 설계되었습니다. 이 연구를 진행한 텐센트 클라우드(Tencent Cloud)와 절강대학교(Zhejiang University)의 연구진은 구체적인 문제를 해결하고자 했습니다. 그것은 바로 어떻게 하면 AI의 지식 베이스가 엉망이 되거나, 혼란스러워지거나, 거짓말로 가득 차지 않으면서도 계속 성장하고 개선되게 할 것인가 하는 점이었습니다. 그들은 비결이 단순히 똑똑한 편집자를 갖는 것이 아니라, 숨겨진 실수를 밝혀내기 위해 끊임없이 후속 질문을 던지는 똑똑한 선생님과, 새로운 것을 추가하려다 실수로 옳은 답을 삭제하지 않도록 감시하는 엄격한 검사관을 두는 데 있다는 것을 발견했습니다.

문제점: 학습을 멈춰버린 로봇

당신이 새로운 캐릭터와 함께 비디오 게임을 하고 있다고 상상해 보세요. 첫 번째 라운드에서 캐릭터는 구덩이를 뛰어넘으려다 실패합니다. 당신은 "더 높이 점프해야 해"라고 말합니다. 캐릭터는 이를 수정하고, 다음 라운드에서는 잘 점프합니다. 하지만 그다음 라운드에서 캐릭터가 불덩음을 피하면서 동시에 구덩이를 뛰어넘으려 할 때, 캐릭터는 다시 실패합니다. 만약 선생님이 첫 번째 점프에 대해서만 피드백을 주었다면, 캐릭터는 불덩음을 피하는 법을 결코 배우지 못했을 것입니다. 그들은 더 어려운 과제에 대해 테스트받지 못함으로써 성장이 멈추는 "천장"에 부딪히게 됩니다.

이것이 현재 AI 기술에서 일어나는 현상입니다. 대부분의 시스템은 "단발성(single-turn)" 체크를 사용합니다. AI는 문제를 해결하려고 시도하고, 점수를 받은 뒤, 다시 시도합니다. 하지만 명백한 실수들이 수정되고 나면, 피드백은 더 이상 유용하지 않게 됩니다. AI는 벽에 부딪힙니다. 이는 마치 간단한 질문에 "예" 또는 "아니오"로만 대답하며 언어를 배우려는 것과 같습니다. 그러면 복잡한 대화는 결코 배울 수 없습니다.

또한, 이러한 AI들이 스스로를 수정하려고 할 때 종-종 무언가를 망가뜨리기도 합니다. 그들은 너무 많은 새로운 정보를 추가하여 지침이 모순으로 가득 찬 100페이지짜리 소설처럼 만들어버릴 수 있습니다. 원래 따라야 했던 규칙들을 잊어버릴 수도 있죠. 이를 "저하(degradation)"라고 합니다. 더 많이 진화하려고 할수록, 오히려 신뢰성은 떨어지게 됩니다.

해결책: SkillEvo의 두 가지 마법

이 논문의 저자들은 SkillEvo(Skill Evolution)라는 새로운 시스템을 제안합니다. 그들은 AI를 더 좋게 만드는 핵심이 단순히 코드를 편집할 시간을 더 많이 주는 것이 아니라, 더 나은 피드백과 더 나은 규칙을 주는 데 있다고 주장합니다. 그들은 두 가지 주요 부분인 **신뢰할 수 있는 피드백 생성기(Trustworthy Feedback Generator)**와 **제어 가능한 거버넌스 계층(Controllable Governance Layer)**을 갖춘 시스템을 구축했습니다.

파트 1: 호기심 많은 시뮬레이터 (신뢰할 수 있는 피드백)

단순히 AI에게 질문 하나를 던지는 대신, SkillEvo는 "시뮬레이터"를 사용하여 실제의, 약간 까다로운 인간 고객 역할을 하게 합니다. 이 시뮬레이터는 질문 하나만 던지고 떠나지 않습니다. 마치 "스무 고개" 게임을 하는 것처럼 행동합니다.

1. 설정: 시뮬레이터는 실제의 복잡한 고객 불만 사항(티켓)을 읽고 현실적인 시나리오를 생성합니다. 시뮬레이터는 고객이 무엇을 원하는지, 이미 무엇을 시도했는지, 심지어 고객이 어떻게 좌절할 수 있는지까지 알고 있습니다.
2. 대화: AI는 도움을 주려고 노력합니다. 시뮬레이터는 후속 질문을 던집니다. "알겠습니다, 하지만 만약 제가 그걸 시도했는데 작동하지 않았다면 어떡하죠?" 또는 "잠깐, 이제 다른 에러 코드가 떴어요."
3. 드러남: 이러한 주고받는 과정은 문제의 층위를 벗겨냅니다. 비디오 게임에서처럼, 첫 번째 대화 단계는 쉬운 것들을 해결할 수 있지만, 두 번째와 세 번째 라운드는 숨겨진 복잡한 실수들을 드러냅니다.
4. 필터링: 모든 실수가 AI의 잘못은 아닙니다. 때로는 시뮬레이터가 이상하게 행동하거나, AI가 사용하는 도구가 고장 났을 수도 있습니다. SkillEvo에는 "이것이 AI의 지식 공백인가, 아니면 다른 문제인가?"를 확인하는 특별한 "속성 판별기(Attributor)"가 있습니다. 오직 진짜 지식의 공백만이 피드백으로 전환됩니다.

이것은 "자기 갱신형" 기울기(gradient)를 만듭니다. AI가 실수를 바로잡을 때마다, 시뮬레이터는 더 어려운 질문을 던져 다음 단계의 결함을 드러냅니다. AI는 배울 것이 결코 떨어지지 않습니다.

파트 2: 엄격한 검사관 (제어 가능한 거버넌스)

훌륭한 피드백이 있더라도 AI는 엉망이 될 수 있습니다. 만약 학생에게 매일 교과서를 새로 쓰게 내버려 둔다면, 그 학생은 미술 단원을 추가하면서 수학 단원을 실수로 지워버릴 수도 있습니다. 혹은 책을 반복적인 헛소리로 가득 찬 1,000페이지 분량으로 만들 수도 있습니다.

SkillEvo는 이를 막기 위해 "거버넌스" 계층을 추가합니다. 이것은 두 가지 규칙을 가진 엄격한 편집자라고 생각하면 됩니다.

1. 진실을 삭제하지 마라: AI는 처음에 가지고 있던 안정적이고 올바른 사실들을 반드시 유지해야 합니다. 만약 AI가 알려진 사실을 삭제하려 한다면, 시스템은 "안 돼!"라고 말하며 즉시 수정합니다.
2. 책이 비대해지지 않게 하라: 시스템은 AI가 불필요한 군더더기를 추가하거나 지식의 각 부분 사이의 연결 고리를 끊고 있는지 확인합니다. 만약 AI의 "지식 그래프"가 엉키거나 너무 커지면, 시스템은 죽은 경로를 가지치기하고 구조를 조여서 능동적으로 복구합니다.

이를 통해 AI가 똑똑해지면서도 엉망이 되지 않도록 보장합니다. 조직적이고 신뢰할 수 있는 상태를 유지하게 합니다.

결과: 숫자들

연구진은 이 시스템을 클라우드 서비스(데이터베이스 문제 해결이나 서버 관리 등)에서 사용되는 9가지 실제 기술에 대해 테스트했습니다. 그들은 SkillEvo를 다음 세 가지 방법과 비교했습니다.

• 원본 기술(Original Skills): 업데이트되지 않은 시작점.
• 자기 성찰(Self-Reflection): 외부 피드백 없이 AI가 스스로를 수정하는 방식.
• 단발성 QA(Single-Turn QA): AI가 단 한 번의 질의응답 세션을 통해 피드백을 받는 방식.

결과는 명확했습니다. "자기 성찰" 방식은 거의 개선되지 않았으며, 제자리걸음만 했습니다. "단발성 QA" 방식은 처음에는 좋아졌지만, 이후 벽에 부딪혀 약 **66.4%**의 성공률에서 멈췄습니다.

반면, SkillEvo는 계속해서 상승했습니다. 깊은 문제를 찾기 위한 다회차 대화와 정돈된 상태를 유지하기 위한 거버넌스 계층을 사용하여, **81.8%**의 성공률에 도달했습니다. 이는 단발성 방식보다 15.4포인트 향상된 수치이며, 업데이트되지 않은 원본 기술보다는 무려 51.8포인트나 향상된 수치입니다.

그들은 또한 AI의 "지식 책"이 얼마나 성장했는지 측정했습니다. 거버넌스 계층이 없다면 책의 크기는 16.2% 증가하여 비대하고 엉망이 되었을 것입니다. 거버넌스 계층이 있을 때, 책은 단 **2.8%**만 성장했는데, 이는 AI가 불필요한 쓰레기를 추가하지 않고 효율적으로 학습하고 있음을 증명합니다.

이것이 왜 중요한가

이 논문은 AI의 미래가 단순히 더 큰 모델을 만들거나 스스로를 편집하게 하는 것에 있지 않다는 점을 시사합니다. 그것은 우리가 그들에게 어떻게 말을 걸고, 그들의 작업을 어떻게 확인하느냐에 달려 있습니다. 단순한 "테스트"를 길고 드러나는 대화로 바꾸고, AI가 혼란에 빠지지 않도록 엄격한 "거버넌스" 시스템을 추가함으로써, 우리는 진정으로 학습하고 발전하는 AI를 만들 수 있습니다.

저자들은 이를 텐센트 클라우드의 실제 운영 환경에서 테스트했으며, 이는 이것이 단순한 이론이 아니라 실제 고객이 개입되는 상황에서도 실제로 작동하는 시스템임을 의미합니다. 그들은 올바른 후속 질문을 던지는 선생님과, AI를 정직하게 유지하는 엄격한 편집자를 제공한다면, AI가 훨씬 더 유능하고 신뢰할 수 있는 조력자로 진화할 수 있음을 보여주었습니다.