기술 요약: 웹 API 통합 코드 생성 벤치마킹

문제 정의

웹 API 통합은 현대 소프트웨어 인프라의 핵심적인 구성 요소이지만, 개발자가 이러한 API를 호출하기 위한 올로 된 코드를 작성하는 것은 여전히 어렵고 번거로운 작업입니다. 대규모 언어 모델(LLM)은 소프트웨어 개발을 자동화하는 데 있어 상당한 잠재력을 보여주었으나, 특히 웹 API 호출 코드를 생성하는 데 있어서의 구체적인 효용성은 아직 충분히 탐구되지 않았습니다. 로컬 함수 호출과 달리, 웹 API 호출은 특정 HTTP 메서드, 매개변수화된 URL, 요청 본문(request body), 헤더 및 쿼리 파라미터를 포함하는 복잡한 구문을 수반하며, 이는 모델의 컨텍스트 창 내에 항상 접근 가능한 것은 아닌 외부 명세(예: OpenAPI)에 의해 문서화되어 있습니다.

본 연구가 다루는 핵심 연구 질문은 다음과 같습니다: LLM이 생성한 웹 API 호출 코드는 얼마나 정확하며, 해당 코드에서 흔히 나타나는 오류 유형은 무엇인가?

방법론

이 질문에 답하기 위해 저자들은 이 분야를 체계적으로 평가하기 위해 설계된 새로운 데이터셋이자 평가 파이프라인인 WAPIIBench를 도입합니다.

1. 데이터셋 구축 (WAPIIBench)

이 데이터셋은 OpenAPI 표준을 준수하는 네 가지 실제 API인 Asana, Google Calendar, Google Sheets, Slack Web에서 파생된 395개의 태스크-구성 쌍으로 구성됩니다.

• 합성: 기존 저장소에서 소스를 가져오는 방식(대개 모호한 태스크 설명이 결여됨)과 달리, 저자들은 Gemini 1.5 Pro를 사용하여 태스크를 합성했습니다. 모델에는 전체 OpenAPI 명세와 상세 지침이 제공되었으며, 이를 통해 자연어 태스크 설명($t$)과 그에 대응하는 정답 요청 구성($c$)을 생성하도록 했습니다.
• 검증: 생성된 데이터는 모든 태스크가 고유하고 해결 가능한 구성을 가지며, 인자가 정확하게 반영되었는지 확인하기 위해 엄격한 자동 및 수동 큐레이션을 거쳤습니다.
• 구조: 각 샘플은 하나의 API 엔드포인트를 나타내며, HTTP 메서드, URL, 그리고 인자(본문, 헤더, 쿼리 파라미터)를 캡처합니다.

2. 평가 파이프라인

평가는 다음의 4단계 과정을 따릅니다:

1. 코드 생성: LLM은 태스크 설명을 바탕으로 시작 코드(Axios 라이브 library를 사용한 JavaScript)를 완성하는 과제를 수행합니다. 두 가지 설정이 테스트되었습니다:
   • 전체 완성 (Full Completion): 모델은 HTTP 메서드, URL 및 모든 인자를 생성해야 합니다.
   • 인자 완성 (Argument Completion): 모델에게 올바른 메서드와 URL이 제공되며, 오직 인자만을 생성해야 합니다.
2. 코드 실행: 생성된 코드는 외부 요청을 가로채는 제어된 샌드박스 환경(Mock)에서 실행됩니다. 이 접근 방식은 구문적 유사성보다 기능적 정확성을 우선시하여, 코드가 실제로 전송하는 요청 구성($c'$)을 포착합니다.
3. 정확성 분석: 캡처된 구성($c'$)은 정답($c$)과 비교되며 API 명세($s$)에 따라 검증됩니다.
4. 지표: 연구는 다음과 같은 세밀한 지표를 사용합니다:
   • 올바른 구현 (Correct Implementations): 정답과 일치하는 실행 가능한 코드의 비율.
   • 불법 구현 (Illegal Implementations): API 명세를 위반하는 코드.
   • URL/메서드 정확도: 엔드포인트 및 HTTP 메서드의 정확성.
   • 인자 정밀도/재현율 (Argument Precision/Recall): 파라미터 이름 및 값의 정확성.

3. 평가된 모델

이 벤치마크는 상용 모델(GPT-4o 및 GPT-4o mini)과 성능 베이스라인을 설정하기 위해 21개의 최첨단 오픈 소스 LLM(StarCoder, DeepSeek-Coder, Qwen-Coder, Code Llama, Llama 3.1 포함)을 평가했습니다.

주요 결과

실험 결과, 현재의 LLM은 가장 유능한 오픈 소스 모델을 포함하여 웹 API 호출 코드를 정확하게 생성하는 데 상당한 어려움을 겪고 있음이 드러났습니다.

• 전반적인 정확도: 평가된 오픈 소스 모델 중 어떤 모델도 태스크의 40% 이상을 해결하지 못했습니다.
  • 전체 완성 설정에서, 가장 우수한 오픈 소스 모델(Code Llama 70B)은 **30%**의 정확도를 달성했으며, GPT-4o는 **60%**에 도달했습니다.
  • 인자 완성 설정(엔드포인트가 알려진 경우)에서, Code Llama 70B는 **40%**로 향상되었고, GPT-4o는 **77%**에 도달했습니다.
• 오류 유형:
  • 엔드포인트 환각 (Hallucinated Endpoints): 주요 실패 모드는 잘못되거나 존재하지 않는 URL을 생성하는 것입니다. 전체 완성 설정에서 최대 **39%**의 URL이 불법적이었습니다.
  • 인자 오류 (Argument Errors): 모델은 빈번하게 파라미터 이름을 환각하거나(최대 **31%**의 불법 인자) 필수 인자를 누락합니다.
  • 실행 실패 (Execution Failures): 여러 모델(예: Qwen2.5-Coder, Llama 3.1)은 구문 오류나 코드 완성 거부로 인해 전체 완성 설정에서 실행 불가능한 코드를 생성하여, 해당 모델들의 정확도 지표가 0%가 되었습니다.
• 모델 동작:
  • 모델은 일반적으로 HTTP 메서드(GET/POST)를 예측하는 데는 잘 수행하지만, URL과 인자의 비제한적인 특성에는 어려움을 겪습니다.
  • 더 큰 모델이 항상 더 작은 모델보다 뛰어난 성능을 보이는 것은 아닙니다. 일부 모델 제품군에서는 중간 크기의 변형 모델이 더 작거나 더 큰 모델보다 성능이 낮게 나타났습니다.
  • 성능은 서로 다른 API 간에 크게 차이가 나는데, 이는 모델의 학습 데이터 내에 특정 API가 얼마나 널리 퍼져 있는지와 상관관계가 있을 것으로 보입니다.

의의 및 기여

본 논문은 소프트웨어 공학 및 AI 분야에 세 가지 주요 기여를 합니다:

1. WAPIIBench 데이터셋: 실행 기반의 정확성 분석을 위해 특별히 설계된, 네 가지 실제 API에 걸친 약 400쌍의 웹 API 호출 태스크 및 예상 결과가 포함된 최초의 데이터셋입니다.
2. 오픈 소스 평가 파이프라인: 구문적 정확성, 명세 준수, 기능적 성공을 구분하는 세밀한 지표를 사용하여 웹 API 태스크에 대한 코드 생성 모델을 평가하는 새롭고 안전하며 자동화된 파이프라인입니다.
3. 경험적 통찰: 본 연구는 LLM이 API 명세에 대한 일부 암기된 지식을 보유하고 있음에도 불구하고, 외부 컨텍스트 없이 이를 정확하고 명세에 부합하는 호출로 합성하는 데 어려움을 겪는다는 첫 번째 체계적인 증거를 제공합니다. 높은 엔드포인트 및 인자 환각률은 현재 모델의 프로덕션 등급 API 통합 신뢰성에 대한 심각한 격차를 강조합니다.

저자들은 LLM이 가능성을 보여주고 있지만, 여전히 상당한 한계가 있다고 결론짓습니다. 그들은 웹 API 통합 코드의 정확성과 신뢰성을 보장하기 위해 AI 기반 코드 생성 워크플로우에 품질 보증 기술(예: 검색 증강 생성(RAG), 미세 조정 또는 제약된 디코딩)을 통합하는 것이 필수적임을 강조합니다. 이 벤치마크는 이러한 능력을 개선하기 위한 미래 연구의 토대가 됩니다.