기술 요약: WAR-R1 – 의미 추론을 통한 설명 가능한 Web API 추천

1. 문제 정의

Web API 생태계의 급속한 확장 (등록된 API 가 24,000 개를 초과) 은 새로운 서비스를 만들기 위해 API 를 통합하는 "매시업" 개발을 위해 자동화된 추천을 필수적으로 만들었습니다. 그러나 기존 추천 접근 방식은 두 가지 근본적인 한계를 겪고 있습니다:

1. 고정된 Top-N 전략: 대부분의 방법은 매시업의 구체적인 복잡성과 관계없이 미리 정해진 수의 API 를 추천합니다. 이는 간단한 작업에는 관련 없는 제안을 하거나, 복잡한 애플리케이션에는 충분한 커버리지를 제공하지 못하게 합니다.
2. 설명 가능성 부족: 현재 시스템은 일반적으로 근거 없이 순위가 매겨진 목록을 출력합니다. 이러한 불투명성은 개발자가 왜 특정 API 가 추천되었는지 이해하는 것을 방해하여 신뢰, 디버깅, 기능 적합성 평가를 저해합니다.

본 논문은 작업을 공동 예측 문제로 공식화합니다: 매시업 설명과 API 저장소가 주어졌을 때, 시스템은 (1) 관련 API 의 가변 크기 부분집합을 적응적으로 예측하고 (2) 매시업 요구 사항과 API 기능에 기반하여 각 추천 API 에 대한 자연어 정당화를 생성해야 합니다.

2. 방법론: WAR-R1

저자들은 경량 대형 언어 모델 (LLM) 백본 (TinyLlama) 을 기반으로 의미 추론과 적응형 추천을 통합한 WAR-R1 프레임워크를 제안합니다. 이 시스템은 세 가지 핵심 구성 요소를 통해 작동합니다:

A. 의미적 근거를 통한 데이터셋 주석

역사적 매시업-API 데이터셋에 명시적인 설명이 부재하므로, 저자들은 ProgrammableWeb 데이터셋을 주석하기 위해 DeepSeek-R1 을 사용했습니다. 각 매시업-API 쌍에 대해 LLM 이 매시업의 기능적 요구 사항을 특정 API 의 기능과 연결하는 간결한 근거를 생성했습니다.

B. 제어 토큰을 통한 구조화된 생성

가변 카디널리티 출력과 작업의 명확한 분리를 가능하게 하기 위해 WAR-R1 은 특수 토큰을 도입합니다:

• <API_start> 및 <API_stop>: 추천 API 목록의 경계를 정의합니다.
• <REASON_start> 및 <REASON_stop>: 자연어 정당화를 감쌉니다.
• 토큰화: API 이름은 분해를 방지하고 원자적 개념으로 취급하기 위해 단일 불가분 토큰 (예: <API_sendgrid>) 으로 추가됩니다.

C. 2 단계 훈련 패러다임

1. 지도 미세 조정 (SFT): 모델은 매시업 설명을 API 목록 및 해당 근거에 매핑하는 기본 패턴을 학습하기 위해 교차 엔트로피 손실을 사용하여 주석된 코퍼스로 훈련됩니다.
2. GRPO 를 통한 강화 학습 (RL): 정적 훈련 데이터를 넘어 최적화하기 위해 저자들은 그룹 상대 정책 최적화 (GRPO) 와 저랭크 적응 (LoRA) 을 결합합니다.
   • 목적: RL 단계는 추천 정확도와 추론 품질을 공동으로 최적화합니다.
   • 보상 함수: 복합 보상에는 다음이 포함됩니다:
     • 추천 보상: F1, 정밀도, 재현율, NDCG, 평균 정밀도 (AP) 의 가중 합.
     • 추론 보상: 추천된 API 에 해당하는 유효한 설명이 있는지 확인하는 추론 정밀도 (RP) 와 추론 재현율 (RR) 의 가중 합.

3. 주요 기여

• 적응형 추천: WAR-R1 은 매시업 복잡성에 기반하여 고정된 Top-N 목록에 의존하는 대신 제안된 API 수를 동적으로 조정하는 가변 카디널리티 API 추천을 지원하는 최초의 프레임워크입니다.
• 통합된 의미 추론: 모델은 API 기능과 매시업 요구 사항에 기반한 명시적이고 API 별 자연어 정당화를 생성하여 기존 시스템의 "블랙박스" 성격을 해결합니다.
• 2 단계 최적화: 이 작업은 정량적 성능 지표와 설명 일관성 모두와 모델을 정렬하기 위해 SFT 와 GRPO 기반 RL 을 결합한 훈련 파이프라인을 도입합니다.
• 제어된 생성: 작업별 시작/종료 토큰의 도입은 API 목록과 추론 텍스트의 생성 경계를 정밀하게 제어할 수 있게 합니다.

4. 실험 결과

실험은 8,217 개의 매시업과 1,647 개의 API 로 구성된 ProgrammableWeb 데이터셋에서 제로샷 LLM(Llama-3.3-70B, GPT-4.1), 딥러닝 모델 (MTFM, SEHGN), LLM 기반 접근 방식 (LLMAR) 을 포함한 8 가지 베이스라인에 대해 수행되었습니다.

• 추천 정확도: WAR-R1 은 최첨단 베이스라인 (LLMAR) 보다 정밀도@1 에서 7.11%, 재현율@1 에서 10.89% 더 높은 성능을 보였습니다. 또한 더 우수한 NDCG 및 MAP 점수를 달성했습니다.
• 추론 품질: 추천된 API 의 87.88% 가 근거와 함께 제공되었습니다. 모델은 GPT-4.1 에 의해 평가된 평균 추론 점수 (RS) 0.768을 달성했으며, 매시업 정렬, API 정렬, 가독성에서 높은 일치도를 보였습니다.
• 절대 연구:
  • GRPO 단계를 제거하면 추론 품질과 추천 정밀도가 감소했습니다.
  • 특수 토큰을 제거하면 정밀도@s 가 13.82% 감소하고 추론 지표가 저하되어 구조적 제어의 필요성이 확인되었습니다.
  • 추론 구성 요소를 완전히 제거하면 정밀도@s 가 5.50% 감소하여 추천을 정당화하는 행위 자체가 선택 품질을 향상시킴을 보여주었습니다.
• 효율성: 추가된 추론 구성 요소에도 불구하고 WAR-R1(11 억 파라미터) 은 추론 중 2.8 GB의 GPU 메모리만 필요로 하여 더 큰 모델에 비해 실용적입니다.

5. 중요성과 주장

이 논문은 WAR-R1 이 신뢰할 수 있는 지능형 서비스를 향한 중요한 단계라고 주장합니다. 무엇을 추천할지와 왜 추천할지를 공동으로 모델링함으로써, 이 프레임워크는 더 정확할 뿐만 아니라 투명하고 개발자 친화적인 추천을 생성합니다.

저자들은 그들의 접근 방식이 단순한 순위 매기기를 넘어 의미 추론으로 나아가며, 시스템이 실제 개발 작업의 다양한 복잡성에 적응할 수 있게 한다고 강조합니다. 비기능적 요구 사항 (QoS, 가격 등) 이 아닌 기능적 측면에 현재 초점을 맞추고 있다는 한계를 인정하면서도, 이 작업은 서비스 구성을 위한 설명 가능하고 적응형 추천 시스템에 대한 미래 연구의 기반을 마련합니다. 결과는 모델이 제안을 정당화하도록 요구하는 것이 정규화제 역할을 하여 부당한 출력을 줄이고 전반적인 신뢰성을 향상시킨다는 것을 시사합니다.