Signal or Noise? A Benchmark Study of Agent Skills in Web Development

현대적인 소프트웨어 개발 환경에서 인공지능은 단순히 질문에 답하는 단순한 도구에서 코드를 작성하는 지속적인 파트너로 진화했습니다. 이러한 디지털 어시스턴트를 더 신뢰할 수 있게 만들기 위해, 개발자들은 그들에게 '기술(skill)'을 부착하기 시작했습니다. 여기서 기술이란 일회성 지침이 아니라, AI가 전체 작업 세션 동안 지니고 다니는 영구적인 규칙 모음이나 습관이라고 생각하면 됩니다. 이 규칙 모음에는 특정 기술을 위한 코드 작성 가이드, 피해야 할 흔한 실수에 대한 경고, 그리고 문제 해결 방법의 예시들이 포함되어 있습니다. 이러한 노력의 목적은 AI에게 추가적인 맥락을 제공함으로써, AI가 매 단계마다 추측하는 초보자가 아니라 숙련된 인간 엔지니어처럼 행동하게 만드는 것입니다. 하지만 이 접근 방식에는 숨겨진 비용이 따릅니다. 기술이 추가될 때마다 AI가 질문에 답하기 전에 읽어야 하는 텍스트의 양이 늘어납니다. 이는 중요한 미해결 과제를 제기합니다. 즉, 추가된 지식이 실제로 AI가 업무를 더 잘 수행하도록 돕는 것인가, 아니면 방대한 양의 텍스트가 단순히 AI를 혼란스럽게 하여 속도를 늦추고 더 많은 실수를 유발하는 것인가 하는 점입니다.

바이두(Baidu)의 연구팀은 기술의 추가를 기본 설정이 아닌 하나의 과학적 실험으로 다룸으로써 이 질문에 답하고자 했습니다. 그들은 AI가 JavaScript나 HTML 같은 언어를 사용하여 웹사이트와 애플리케이션을 구축하도록 자주 요청받는 거대한 분야인 웹 개발에 집중했습니다. 그들은 일반적인 코딩 조언부터 인기 있는 소프트웨어 프레임워크를 위한 특정 지침에 이르기까지 31가지의 서로 다른 공개 기술 가이드를 수집했습니다. 이를 테스트하기 위해, 그들은 각각 20개의 순차적인 과제로 구성된 50개의 실제 웹 프로젝트를 포함하는 엄격한 테스트 환경을 사용했습니다. 각 프로젝트의 과제는 서로를 바탕으로 구축됩니다. 이는 AI가 해결해야 할 총 1,000개의 뚜렷한 도전 과제를 만들어냈습니다. 연구진은 네 가지 서로 다른 조건 하에서 동일한 과제들을 실행했습니다. 첫 번째 시나리오에서 AI는 아무런 추가 기술 가이드도 받지 못했습니다. 두 번째에서는 해당 프로젝트를 위한 특정 기술 가이드를 받았습니다. 세 번째에서는 텍스트 길이에 따른 효과만을 분리하기 위해, 정확히 같은 크기이지만 무관하고 터무니없는 내용으로 채워진 가이드를 받았습니다. 마지막으로, 그들은 규칙, 경고, 또는 코드 예시와 같은 어떤 특정 부분이 실제로 역할을 하는지 알아내기 위해 유용한 가이드들을 세분화했습니다. 그들은 이 설정들을 널리 사용되는 상용 시스템부터 특화된 코딩 모델에 이르는 네 가지 서로 다른 대규모 언어 모델(LLM)에 걸쳐 테스트했습니다.

결과는 더 많은 맥락이 항상 더 나은 성능으로 이어진다는 일반적인 가정을 뒤엎었습니다. 테스트된 네 가지 모델 모두에서, 의도된 기술 가이드를 추가하는 것이 오히려 AI의 성공률을 낮추었습니다. 평균적으로, AI는 기술이 존재할 때가 없을 때보다 과제를 올바르게 완료하는 횟수가 적었습니다. 성능 저하는 사소한 수준이 아니었으며, 성공률이 소폭 감소하는 것부터 거의 4퍼센트 포인트에 달하는 상당한 손실까지 나타났습니다. 더욱이, AI는 동일한 작업을 완료하는 데 훨씬 더 많은 컴퓨팅 자원을 사용하여 효율성이 떨어졌습니다. 어떤 경우에는 추가 텍스트를 처리하는 비용이 거의 400%까지 급증하기도 했습니다. 연구진은 AI가 성능을 향상시킨 경우가 매우 적은 일부 사례, 즉 특정 기술과 특정 프로젝트의 조합 중 약 5분의 1에서 3분의 1 정도에 불과하다는 것을 발견했습니다. 이는 대다수의 상황에서 이러한 기술의 주입이 신호(signal)가 아닌 노이즈(noise)를 도입하여 역효과를 냈음을 시사합니다.

이 연구는 실패의 원인이 사용 중인 AI 모델에 따라 전적으로 달라진다는 점도 밝혀냈습니다. 두 모델의 경우, 문제는 단순히 텍스트의 길이에 있었습니다. 이 모델들에게 동일한 길이의 무관한 내용이 담긴 가이드를 주었을 때, 이들은 실제 기술 가이드를 받았을 때와 마찬가지로 성능이 저하되었습니다. 이는 단어의 의미와 상관없이 방대한 양의 단어에 의해 주의력이 분산되었음을 나타냅니다. 반면 다른 두 모델은 텍ست의 길이가 문제가 되지 않았습니다. 이들은 무관한 텍스트를 잘 처리했습니다. 대신, 기술 가이드의 구체적인 내용이 AI를 잘못된 방향으로 유도하여 정답으로부터 멀어지게 만들었습니다. 이러한 차이는 매우 중요한데, 이는 문제에 대한 단일한 해결책이 존재하지 않음을 의미하기 때문입니다. 어떤 시스템에는 텍스트를 줄이는 것이 해결책이 될 수 있지만, 다른 시스템에는 콘텐츠 자체를 다시 쓰거나 완전히 제거해야 합니다.

아마도 가장 놀라운 발견은 한 AI 모델에 잘 작동하는 기술이 다른 모델에는 실패하거나 심지로 해가 될 수 있다는 점이었을 것입니다. 연구진은 특정 기술이 한 시스템에서 수행된 방식과 다른 시스템에서의 수행 방식 사이에 거의 아무런 연관성을 찾지 못했습니다. 한 모델이 문제를 해결하는 데 도움을 준 가이드가 동일한 과제에서 다른 모델을 실패하게 만들 수도 있습니다. 이러한 일관성의 결여는 개발자들이 단순히 인기 있는 기술 가이드를 보고 자신의 설정에서도 작동할 것이라고 가정해서는 안 된다는 것을 의미합니다. 대신, 기술 사용 여부는 특정 모델, 특정 프로젝트, 그리고 특정 과제를 고려하여 사례별로 결정되어야 합니다. 또한 연구는 이러한 기술들이 가장 쉬운 과제에서 가장 해롭다는 것을 보여주었습니다. AI가 이미 문제를 해결하는 방법을 알고 있을 때, 추가된 규칙들은 사고방식을 경직되게 만들어, 그렇지 않았다면 쉽게 수정했을 작은 실수들을 바로잡는 것을 방해하는 것처럼 보였습니다.

마สุดท้าย로, 연구진은 유용한 기술들을 해부하여 무엇이 그것들을 작동하게 만드는지 조사했습니다. 그들은 가장 가치 있는 부분이 종종 '안티 패턴(anti-patterns)'이라 불리는, 하지 말아야 할 것에 대한 짧은 경고라는 것을 발견했습니다. 이 짧은 규칙들은 전반적으로 효과적이었습니다. 반면, 긴 코드 블록을 포함하는 섹션들은 결과가 엇갈렸습니다. 이러한 섹션들은 때때る로 약한 모델들에게는 도움이 되었지만, 가장 발전된 모델들에게는 혼란을 주는 경향이 있었는데, 이는 AI에게 너무 많은 예시를 보여주는 것이 해로울 수 있음을 시사합니다. 연구는 기술 가이드를 맹목적으로 AI 에이전트에 부착하는 시대는 끝났다고 결론짓습니다. 대신, 이러한 도구의 주입은 매 배포 시마다 추가 텍스트의 비용과 잠재적 이득을 따져보는 신중한 라우팅 결정(routing decision)으로 취급되어야 합니다. 연구 결과는 세심한 프로젝트별 감사가 없다면, AI를 더 똑똑하게 만들기 위해 고안된 바로 그 도구들이 오히려 AI를 더 느리고 신뢰할 수 없게 만든다는 것을 보여줍니다.