Paritok-4B: Intent-Conditioned Context Compression for Coding Agents

소프트웨어 개발의 세계에서 새로운 종류의 노동자가 등장했습니다: 바로 자율 코딩 에이전트입니다. 이들은 스스로 복잡한 문제를 해결하기 위해 파일을 읽고, 명령어를 실행하며, 코드를 작성할 수 있는 프로그램입니다. 이를 위해 이들은 강력한 인공지능 두뇌와 끊임없이 대화를 나누며, 지금까지 자신이 보고 수행한 모든 것의 긴 이력을 전달합니다. 이 대화 이력은 에이전트의 기억이며, 과제를 해결하는 핵심입니다. 하지만 이 기억은 비용이 많이 듭니다. 에이전트가 메시지를 보낼 때마다, 메시지에 포함된 단어 수에 따라 수수료를 지불해야 합니다. 에이전트가 작업함에 따라 기억은 커지며, 대화를 지속하는 데 드는 비용은 종종 작업 자체보다 더 큰 엄청난 비용이 될 수 있습니다.

이를 해결하기 위해 연구자들은 비싼 두뇌로 메시지를 보내기 전, 기억을 요약하는 더 작고 저렴한 프로그램을 사용하는 방법을 시도해 왔습니다. 아이디어는 메시지를 가장 중요한 부분으로 축소하는 것입니다. 하지만 코딩 에이전트에게 이는 위험한 게임입니다. 만약 요약 프로그램이 변수 이름을 바꾸거나 파일 경로를 변경한다면, 에이전트는 더 이상 존재하지 않는 줄을 편집하려 할 것이고, 결국 전체 프로세스가 실패하게 됩니다. 요약은 훨씬 짧아지더라도 세부 사항에 있어서는 완벽해야 합니다. 이것이 새로운 연구가 다루는 과제입니다: 코딩 에이전트가 생존하는 데 필요한 특정 텍스트 문자열을 잃지 않으면서 어떻게 기억을 축소할 것인가 하는 점입니다.

한 연구팀은 코딩 대화를 압축하기 위해 설계된 특화된 도구인 Paritok-4B라는 솔루션을 개발했습니다. 뉴스 기사나 이야기로 훈련된 일반적인 요약기와 달리, 이 도구는 코딩 에이전트의 무질서하고 기술적인 현실에 맞춰 구축되었습니다. 이 도구는 두 가지 엄격한 규칙에 따라 작동합니다. 첫째, 이는 추출적(extractive)입니다. 즉, 텍스트를 다시 쓰거나 바꾸어 표현하려고 시려 하지 않습니다. 대신, 불필요한 문단 전체를 잘라내되 남은 문장들은 단 한 단어도 틀리지 않고 원래 그대로 두는 세심한 편집자처럼 행동합니다. 이를 통해 에이전트가 특정 함수 이름이나 에러 메시지를 찾아야 할 때, 그것이 변형되지 않은 채 그대로 남아 있도록 보장합니다. 둘째, 이 도구는 의도 조건부(intent-conditioned)입니다. 즉, 에이전트가 현재 무엇을 하려고 하는지 알고 있습니다. 이 지식을 활용하여 어떤 부분이 필수적인지, 어떤 부분이 소음인지 결정하며, 현재 작업에 중요한 줄은 남기고 나머지는 버립니다.

연구진은 훨씬 더 크고 비싼 인공지능을 모방하도록 이 도구를 가르쳤습니다. 그들은 코딩 에이전트가 문제를 해결하는 67,000개 이상의 실제 사례를 수집했고, 대형 AI를 사용하여 그 대화들의 완벽한 압축 버전을 만들었습니다. 그런 다음 40억 개의 파라미터를 가진 더 작은 모델이 이러한 압축본을 복제하도록 훈련시켰습니다. 그 결과, 이 도구는 기억을 원래 크기의 약 4분의 1로 줄일 수 있게 되었습니다. 테스트 결과, 이 압축 방식은 가장 진보된 상용 AI 모델들이 스스로 달성할 수 있는 것보다 두 배 더 공격적이었음에도 불구하고, 에이전트의 문제 해결 능력을 거의 동일하게 유지했습니다. 에이전트가 이 압축된 기억을 사용했을 때, 전체 압축되지 않은 기억을 사용할 때의 약 89% 수준의 문제를 여전히 해결할 수 있었습니다.

연구는 또한 이 접근 방식의 경제성을 면밀히 조사했습니다. 압축을 위해 강력하고 비싼 AI를 사용하는 것은, 메인 두뇌로 보내는 단어 수를 줄여 절약되는 돈보다 더 많은 비용을 초래하는 경우가 많았습니다. 실제로 연구진은 최고 수준의 상용 모델을 압축기로 사용하는 것이 전체 비용을 오히려 증가시킨다는 것을 발견했습니다. 그러나 Paritok-4B는 단일 표준 그래픽 카드에서 실행될 수 있을 만큼 작습니다. 단어 하나당 수수료를 부과하지 않기 때문에, 대화가 진행됨에 따라 비용이 늘어나는 것이 아니라 작업이 진행됨에 따라 절감되는 비용이 늘어나는 방식으로 확장 가능한 경제적 방안을 제공합니다. 이 도구는 안전하게 설계되었습니다. 만약 압축 과정에서 에이전트에게 필요한 무언가가 제거된다면, 시스템은 즉시 원본의 편집되지 않은 텍스트를 불러올 수 있습니다.

연구진은 이것이 얼마나 잘 작동하는지 정확하게 측정하기 위해 주의를 기울였습니다. 그들은 이 도구가 원본 텍스트에 매우 충실하다는 것을 발견했습니다. 압축된 출력물에서 파일명, 함수명, 숫자와 같은 거의 모든 특정 명칭들은 입력값으로부터 직접 복사되었으며, 새로운 단어가 거의 만들어지지 않았습니다. 이는 코딩 에이전트가 파일을 편집할 때 정확한 일치를 기반으로 하기 때문에 매우 중요합니다. 연구는 이 도구가 엄격하게 필요한 것보다 조금 더 많은 정보를 유지하는 경향이 있지만, 에이전트의 작업을 망가뜨릴 만한 실수를 저지르는 경우는 거의 없다는 것을 보여주었습니다. 팀은 또한 도구가 무엇을 완전히 버릴지 결정하는 데 있어 완벽하지는 않으며, 필요 이상으로 많은 부분을 남겨두는 경향이 있다고 언급했습니다. 이는 안전한 오류입니다. 정보를 더 많이 유지하는 것은 비용을 약간 더 발생시키지만 작업은 깨뜨리지 않는 반면, 중요한 것을 버리는 것은 에이전트를 실패하게 만들기 때문입니다.

이 연구는 우리가 인공지능의 효율성을 생각하는 방식의 변화를 나타냅니다. 모든 작업에 거대하고 비싼 모델에 의존하는 대신, 연구진은 작고 특화된 모델이 컨텍스트 관리의 무거운 짐을 질 수 있음을 보여주었습니다. 코딩 에이전트의 구체적인 요구사항—정확한 문자열 보존 및 현재 작업의 이해—에 집중함으로써, 그들은 이전 방법들보다 더 저렴하고 효과적인 시스템을 만들었습니다. 연구는 결론적으로, 코딩 에이전트에게 있어 효율성의 미래는 더 큰 두뇌가 아니라, 무엇을 남기고 무엇을 버릴지 정확히 아는 더 똑똑하고 작은 도구에 있다는 것을 보여줍니다.