In-IDE Toolkit for Developers of AI-Based Features

기술 요약: AI 기반 기능 개발자를 위한 IDE 내 툴킷

문제 정의
본 논문은 대규모 언어 모델 (LLM) 과 에이전트 워크플로우를 기반으로 구축된 AI 기능의 테스트, 디버깅, 재현에 직면한 소프트웨어 엔지니어들의 어려움을 다룹니다. 전통적인 소프트웨어와 달리, 이러한 시스템은 비결정적 샘플링, 데이터 컨텍스트, 모델 버전에 따라 동작이 결정되는 '블랙박스'인 경우가 많습니다. 이로 인해 실패 원인을 국소화하기 어렵고 성공 사례를 재현하기 어렵습니다.

저자들은 특정 격차를 식별했습니다. LangSmith, Weights & Biases, MLflow 와 같은 견고한 AI 네이티브 툴링이 존재하지만, 이러한 도구들은 ML 실무자를 위해 최적화되어 있으며 일반적으로 외부 대시보드 형태로 작동합니다. ML 배경 지식이 부족하지만 점점 더 많은 LLM 기능을 구축하고 있는 제품 중심의 소프트웨어 엔지니어들은 체계적인 평가에 대한 직관이 부족하며, 외부 도구에서의 사용자 여정이 불명확하다고 느낍니다. 결과적으로 이들은 구조화되고 반복 가능한 평가 파이프라인 대신 임시방편적인 수동 테스트나 프로덕션 피드백에 의존합니다.

방법론
이 연구는 요구사항을 정의하고 솔루션을 검증하기 위해 혼합 방법론을 사용했습니다:

1. 설문 분석: JetBrains 전략 연구 및 시장 지능 설문조사에서 AI/ML 실무자 및 일반 개발자를 대상으로 한 데이터를 추출했습니다. 주요 발견 사항은 응답자의 56% 가 비결정적 행동 테스트에 어려움을 겪고 있으며, 36% 가 견고한 평가 파이프라인 구축을 어렵게 느낀다는 것이었습니다. 대부분의 개발자 (58%) 는 자동화된 파이프라인 대신 수동 테스트에 의존하고 있습니다.
2. 반구조화 인터뷰: AI 애플리케이션을 구축하는 8 명의 엔지니어와 인터뷰를 진행했습니다. 핵심 통찰력은 비-ML 엔지니어들이 사전 릴리스 평가를 완전히 건너뛰고, 수동 자기 점검 후 프로토타입을 출시하며, 품질 평가를 위해 프로덕션 신호에 의존한다는 것이었습니다.
3. 디자인 요구사항: 이러한 통찰을 바탕으로 저자들은 세 가지 디자인 요구사항을 수립했습니다:
   • DR1: 추적 (tracing) 과 평가를 최우선 기능으로 간주합니다.
   • DR2: '데이터셋 없는 시작 (datasetless start)'을 가능하게 하여, 기존 데이터셋이 필요 없이 수동 테스트에서 캡처된 데이터를 평가에 포함할 수 있도록 합니다.
   • DR3: 경량 가이드 및 템플릿을 통해 교육을 제공합니다.

주요 기여: AI 툴킷 플러그인
저자들은 개발자의 주요 환경인 JetBrains IDE(초기에는 PyCharm 용으로 출시됨) 에 관측 가능성과 평가를 통합하는 AI 툴킷 플러그인을 제시합니다. 이 툴킷은 두 가지 주요 구성 요소로 이루어져 있습니다:

1. AI 에이전트 디버거 (추적 및 관측 가능성):

   • 메커니즘: 클라이언트 - 서버 아키텍처를 사용합니다. 경량 Python 래퍼가 LangChain 및 LangGraph 와 같은 프레임워크 이벤트 (특히 콜백) 를 가로채 직렬화한 후, TCP 를 통해 로컬 IDE 측 서버로 스트리밍합니다.
   • 워크플로우: 사용자가 '실행 (Run)' 또는 '디버깅 (Debug)'을 클릭하면 추적이 자동으로 트리거됩니다. 플러그인은 langchain 또는 langgraph 임포트를 인덱싱하여 AI 프로젝트를 감지합니다.
   • 시각화: 계층적 추적 뷰와 실행 그래프를 렌더링합니다. 방대한 전체 콜백 페이로드와 달리, 읽기 쉬운 내러티브를 유지하기 위해 신호를 전달하는 필드 (예: 호출된 도구, 마지막 LLM 메시지) 만 표시하는 '예쁜 뷰 (Pretty view)'를 기본으로 제공합니다. 또한 프로파일링을 위해 실행 시간과 토큰 사용량을 표시합니다.

2. AI 평가 (단위 테스트와 유사한 워크플로우):

   • 개념: 평가를 단위 테스트와 유사하게 모델링합니다. 개발자는 데이터 포인트를 테스트 케이스로 선언하고 코드 자체를 수정하지 않고 현재 코드 버전과 함께 실행합니다.
   • 데이터셋 큐레이션: '데이터셋에 추가 (Add to Dataset)' 기능이 핵심입니다. 개발자는 캡처된 추적을 직접 데이터셋으로 승격시킬 수 있습니다. 입력은 자동 추출되며 참조 출력은 편집 가능합니다.
   • 실행: 툴킷은 시작 시 Python 프로세스를 계측 (monkey-patching I/O 경계를 통해) 하여 데이터셋 입력을 시스템으로 전파합니다. 실행 추적을 캡처하고 구성된 JSON 경로를 기반으로 생성된 출력을 추출합니다.
   • 점수 매기기: 평가는 표준 지표, 'LLM-as-a-judge', 커스텀 코드를 포함한 구성 가능한 지표를 사용합니다. 결과는 단위 테스트 러너와 유사한 도구 창에 제시되며, 집계 통계 (평균 점수, 토큰 사용량, 실제 소요 시간) 를 보여줍니다.
   • 영속성: 데이터셋과 아티팩트는 프로젝트 파일 (YAML) 로 저장되어 버전 관리, 차이 비교 (diffing), 공유가 가능합니다.

결과 및 초기 채택 신호
본 논문은 PyCharm 2025.2 릴리스 이후 4 주 기간 동안의 초기 텔레메트리를 보고합니다:

• 도달 범위: 플러그인은 970 명의 신규 사용자를 확보했습니다.
• 전환율: LangGraph 프로젝트에서 '실행'을 클릭한 후 나타나는 팝업 프롬프트는 58% 의 설치율을 달성하여 모든 신규 사용자의 3 분의 1 을 생성했습니다.
• 활성화: 팝업을 통해 설치한 사용자의 40% 가 첫 번째 추적을 캡처했습니다. 그러나 '새로 업데이트된 내용 (What's New)' 탭을 통해 유입된 사용자의 활성화율은 12% 로 낮았는데, 이는 초기 릴리스가 LangGraph 만 지원하여 많은 사용자가 해당 프레임워크를 사용하지 않았기 때문입니다.
• 유지율: 4 주 차에 모든 설치자의 26% 가 활성 상태로 남았습니다. PyCharm 에서 실제로 코드를 실행한 개발자 중에서는 유지율이 40% 로 상승했습니다. 이탈 (제거/비활성화) 은 10~15% 로 낮게 유지되었습니다.
• 주요 교훈: 데이터는 IDE 네이티브, 실행 트리거 워크플로우가 명확하고 가치 있음을 시사합니다. 현재 채택의 주요 장벽은 개발자의 의도가 아니라 프레임워크 지원 범위입니다.

의의 및 주장
본 논문은 IDE 에 AI 관측 가능성과 평가를 통합함으로써 개발자가 규율 있는 AI 개발 관행을 채택하는 데 필요한 '활성화 에너지 (activation energy)'를 낮춘다고 주장합니다. 개발자를 외부 콘솔로 내보내는 대신 기존 워크플로우 (실행/디버깅 루프) 에서 그들을 만나게 함으로써, 이 툴킷은 비-ML 전문가에게도 현대적인 AI 개발을 접근 가능하게 만들면서 소프트웨어 엔지니어링 관행은 유지합니다.

저자들은 이 접근 방식이 비공식적인 '시도 - 확인' 루틴을 추적 → 검사 → 데이터셋으로 큐레이션 → 평가의 규율 있는 루프로 변환한다고 주장합니다. 추적 스키마를 표준화하고 IDE 내에서 평가를 1 급 테스트로 취급함으로써 AI 네이티브 툴링과 광범위한 소프트웨어 엔지니어링 커뮤니티 간의 격차를 해소할 수 있다고 봅니다.

한계점
저자들은 몇 가지 한계를 인정합니다:

• 제한된 범위: 초기 결과는 LangGraph 지원에만 기반하므로 실제 수요를 과소평가할 가능성이 있습니다.
• 짧은 기간: 지표는 약 1,000 명의 사용자 샘플을 가진 단일 릴리스의 첫 4 주만을 다룹니다.
• IDE 편향: 연구는 PyCharm 사용자로 제한되어 있으며, VS Code 와 같은 다른 IDE 를 사용하는 개발자 대다수를 제외합니다.

향후 방향
저자들은 Kotlin 의 Koog, PydanticAI, OpenAI Python SDK 를 포함하도록 프레임워크 지원 범위를 확대할 계획을 제시합니다. 또한 AI 평가 기능의 사용량을 모니터링하여 UX 개선과 디버거 및 평가 모듈 간의 더 긴밀한 통합을 안내할 예정입니다.