기술 요약: LLM 생성 웹 API 호출의 오류 완화

문제 정의

웹 API 통합은 현대 소프트웨어 개발의 핵심이지만, OpenAPI 문서로 정의된 복잡하고 진화하는 사양으로 인해 올바른 호출 코드를 작성하는 것은 여전히 큰 도전 과제입니다. 거대 언어 모델(LLM)은 코드 생성 분야에서 유망한 가능성을 보여주지만, 실증 연구(저자들의 이전 연구인 WAPIIBench)에 따르면 LLM이 잘못된 웹 API 호출을 빈번하게 생성한다는 것이 입증되었습니다. 이러한 오류는 잘못된 엔드포인트나 HTTP 메서드 선택부터, 존재하지 않는 인자를 생성(hallucination)하거나 필수 파라미터를 누락하는 것에 이르기까지 다양합니다.

RAG(검색 증강 생성) 및 CD(제약 디코딩)와 같은 기존 완화 기법은 다른 도메인에서 성공을 거두었으나, 웹 API 호출이라는 특정 과제에 대해서는 여전히 충분히 이해되지 않은 상태입니다. 로컬 함수 호출과 달리, 웹 API 호출은 클라이언트 코드와 독립적으로 진화하는 외부 사양을 바탕으로 명시적인 HTTP 요청(URL, 메서드, 헤더, 바디)을 구성해야 합니다. 본 논문은 RAG와 CD를 사용하여 이러한 특정 유형의 오류를 효과적으로 완화하는 방법에 대한 열린 질문을 다룹니다.

방법론

저자들은 LLM이 생성한 웹 API 코드를 개선하기 위해 두 가지 상호 보완적인 접근 방식을 제적으로 제안하고 평가합니다.

1. 검색 증강 생성 (RAG)

• 리트리버 설계: 저자들은 OpenAPI 사양을 처리하는 리트리버를 설계했습니다. 일반적인 문서 청킹(chunking)과 달리, 사양을 엔드포인트(endpoint) 단위로 분할하여 각 청크가 단일 엔드포인트에 대한 완전한 문서(인라인 참조, 보안 체계, 경로 파라미터 포함)를 포함함으로써 문맥을 유지하도록 했습니다.
• 임베딩 및 저장: 청크는 all-MiniLM-L6-v2 모델을 사용하여 임베딩되고 Chroma 벡터 데이터베이스에 저장됩니다. 검색 적중률을 높이기 위해, 각 엔드포인트는 최대 5개의 서로 다른 임베딩 변형(예: 파라미터 목록 또는 응답 스키마의 포함 여부를 달리함)과 함께 저장됩니다.
• 프롬프트 주입: 검색된 엔드포인트 문서는 압축된 TypeScript 스타일의 표현(Listing 2)으로 포맷팅되어 모델의 프롬프트에 주입됩니다. 절단(truncation) 메커니즘은 컨텍스트 길이 제한을 처리합니다.

2. 제약 디코딩 (CD)

• 제약 조건 생성: 저자들은 OpenAPI 사양을 정규 표현식(regex) 제약 조건으로 자동 변환하는 번역기를 개발했습니다. 이 제약 조건은 토큰 생성 과정에서 API 사양을 엄격히 준수하도록 강제하도록 설계되었습니다.
• 계층적 구조: 제약 조건은 다음과 같이 계층적으로 구성됩니다:
  1. HTTP 메서드: 지원되는 메서드로 생성을 제한합니다.
  2. URL: 선택된 메서드에 정의된 유효한 경로로 제한합니다.
  3. 파라미터: 엔드포인트가 식별되면, 해당 엔드포인트에 정의된 파라미터로 제한하며 옵션 여부, 순서 및 데이터 타입을 처리합니다.
• 구현: 커스텀 완성 엔진(completion engine)은 모델의 다음 토큰 확률 분포를 동적으로 필터링하여, 제약 조건을 위반하는 토큰의 확률을 0으로 설정합니다. 이를 통해 생성된 URL, HTTP 메서드, 인자가 항상 사양을 준수하도록 보장합니다.

3. 평가 프레임워크

본 연구는 두 가지 데이터셋을 활용합니다:

• 합성 데이터셋: WAPIIBench에서 파생되었으며, 네 가지 API(Asana, Google Calendar, Google Sheets, Slack)에 걸친 395개 태스크를 포함하며 정확한 정답(ground truth)을 보유하고 있습니다.
• 실제 데이터셋: GitHub 저장소에서 Axios 기반의 JavaScript 파일을 마이닝하여 구축한 새로운 데이터셋입니다. 11개 API에 걸친 28개 태스크를 포함하며, 일반적인 사용 패턴과 파일 수준의 코드 문맥을 반영합니다.

평가는 정확성(Correctness) (정답과 일치하는 실행 가능한 코드), 환각(Hallucinations) (잘못된 엔드포인트 또는 인자), 그리고 **실행 가능성(Executability)**을 측정합니다. 실험은 24개의 오픈 소스 LLM(CodeLlama, StarCoder, Qwen, DeepSeek 포함)과 2개의 상용 모델(GPT-4o, GPT-4o mini)을 대상으로 두 가지 설정에서 수행되었습니다: 전체 완성(Full Completion) (모델이 엔드포인트와 인자를 모두 선택) 및 인자 완성(Argument Completion) (엔드포인트는 제공되고 모델이 인자만 선택).

주요 기여

1. API 특화 RAG: LLM의 토큰 효율성과 이해도를 높이기 위해 OpenAPI 사양을 자기 완결적인 엔드포인트 수준의 청크로 처리하는 검색 방법.
2. 자동 제약 조건 생성: OpenAPI 사양을 정규 표현식 기반의 제약 조건으로 변환하여, 생성된 코드가 API 정의를 엄격히 준수하도록 보장하는 시스템.
3. 실제 데이터셋: 합성 벤치마크를 보완하기 위해 GitHub 저장소에서 유도된, 다양하고 현실적인 사용 시나리오를 제공하는 새로운 데이터셋.
4. 체계적인 실증적 평가: 24개 모델과 두 가지 별도의 데이터셋에 대해 RAG, CD 및 이들의 조합을 종합적으로 분석한 연구.

결과

검색 증강 생성 (RAG)

• 환각 감소: RAG는 두 데이터셋 모두에서 환각된 엔드포인트와 인자를 일관되게 감소시킵니다.
• 정확성에 미치는 영향: 정확성에 미치는 효과는 양면적입니다.
  • 전체 완성(Full Completion) 설정에서, RAG는 올바른 엔드포인트 선택을 도움으로써 정확성을 크게 향상시킵로 (예: 합성 데이터셋에서 +113%).
  • 인자 완성(Argument Completion) 설정에서, RAG는 종종 정확성을 감소시킵니다 (예: 합성 데이터셋에서 -3%). 이는 모델이 특정 작업에 필요하지 않더라도 검색된 문맥에 있는 선택적 파라미터를 과도하게 포함하는 경향이 있기 때문입니다.
• 모델 의존성: RAG의 효용성은 모델에 따라 크게 달라집니다. 일부 모델은 문맥을 효과적으로 활용하지만, 다른 모델들은 "파라미터 과다 사용(parameter overuse)" 문제를 겪습니다.

제약 디코딩 (CD)

• 제로 환각: CD는 모든 모델과 데이터셋에서 잘못된 URL, HTTP 메서드 및 인자의 발생을 **제로(0)**로 신뢰성 있게 줄입니다.
• 정확성 향상: CD는 전반적인 정확성을 실질적으로 향상시킵니다. 합성 데이터셋에서 CD는 평균적으로 +209%(전체 완성) 및 +143%(인자 완성)의 이득을 가져왔습니다.
• 실행 가능성: CD는 이전에 문법적으로 유효한 코드를 생성하는 데 실패했던 모델들이 실행 가능한 구현물을 생성할 수 있게 합니다. 다만, 확률 분포 왜곡으로 인해 일부 경우에서 비실행 가능한 코드의 비율을 약간 높이기도 합니다.
• 일관성: RAG와 달리, CD는 거의 모든 모델에서 일관된 개선 효과를 제공합니다.

결합 (RAG + CD)

• 최고 성능: 결합 모델은 가장 높은 절대적 정확도 점수를 달성합니다 (예: 인자 완성 설정에서 합성 데이터셋 기준 73%).
• 트레이드오프: CD의 제로 환각 보장 기능은 유지하지만, 결합 모델은 CD 단독 사용 시보다 일관성이 떨어집니다. 인자 완성 설정의 경우, RAG의 "파라미터 과다 사용" 문제가 지속되어 이 특정 설정에서는 CD 단독 사용 시보다 평균 이득이 낮게 나타납니다.

의의 및 주장

본 논문은 **제약 디코딩(CD)**이 웹 API 호출 작업에서 가장 견고하고 신뢰할 수 있는 기법이며, 사양 위반 및 환각에 대한 강력한 보장을 제공한다고 주장합니다. 저자들은 이 설정에서 CD를 무조건적으로 권장해야 한다고 논합니다.

RAG는 환각을 줄이고 엔드포인트 선택을 돕는 데 효과적이지만, 파라미터 과다 사용을 유발하는 경향이 있어 그 순이익은 특정 모델과 작업에 따라 크게 달라집니다. 저자들은 최대의 정확도가 우선순위가 아니고 특정 모델의 검색 문맥 처리 동작이 검증되지 않았다면, CD 단독 사용이 더 안전한 선택이라고 결론짓습니다.

본 연구는 웹 API와 같이 외부의 진화하는 사양을 다루는 작업에서 실질적인 신뢰성을 확보하기 위해, AI 기반 코드 생성 워크플로우에 품질 보증 기술(예: CD)을 통합하는 것이 필수적임을 강조합니다. 저자들은 자신들의 벤치마크와 방법론이 보안과 같은 다른 품질 기준 및 다양한 프로그래밍 생태계에 대한 미래 연구를 위한 토대가 되기를 기대하고 있습니다.