기술 요약: 요구사항 분류를 위한 BT-APE

문제 정의

대규모 언어 모델(LLM)은 특정 작업에 대한 별도의 학습 없이도 자연어 지침을 따를 수 있는 능력 덕분에, 요구사항 분류와 같은 요구사항 공학(Requirements Engineering, RE) 작업에 점점 더 많이 적용되고 있습니다. 그러나 이러한 모델의 성능은 모델을 가이드하는 데 사용되는 프롬프트의 품질에 크게 의존합니다. RE 도메인에서 프롬프트 설계는 여전히 시행착오와 실무자의 직관에 의존하는 수동적이고 임의적인 과정으로 남아 있습니다. 이러한 체계적인 최적화의 부재는 일관되지 않고 차선적인 결과를 초래하며 재현성을 제한합니다. 또한, 일반적인 자연어 처리(NLP) 분야에는 자동 프롬프트 엔지니어링(Automatic Prompt Engineering, APE) 기법이 존재하지만, 이를 도메인 특화적인 RE 작업에 적용하는 것과 고전적인 프롬프팅 전략과 비교했을 때의 효과는 아직 탐구되지 않았습니다. 더욱이 기존의 APE 방식은 높은 계산 비용을 발생시켜, 데이터 보안상 로컬 서버에 소규모로 배포해야 하는 경우가 많은 RE 환경의 자원 제약적인 환경에는 적합하지 않습니다.

방법론: BT-APE

저자들은 프롬프트 설계를 최적화 문제로 규정하는 계산적으로 가벼운 프레임ка이트인 BT-APE(Backtracking APE)를 제안합니다. 이 방법은 LLM이 생성한 후보군, 백트래킹 탐색 전략, 그리고 동적 예시 선택을 사용하여 프롬프트를 반복적으로 정제합니다.

핵심 워크플로우

프로세스는 세 개의 분리된 풀(pool)을 사용하여 세 단계로 나뉩니다: 예시 샘플링을 위한 풀($D_{pool}$), 검증 세트($D_{val}$), 그리고 홀드아웃 테스트 세트($D_{test}$).

1. 초기화: 초기 프롬프트를 검증 세트에서 점수화하여 베이스라인을 설정합니다.
2. 반복적 정제:
   • 후보 생성: LLM은 현재 프롬프트와 **균형 잡힌 동적 예시 배치(balanced dynamic example batch)**를 조건으로 새로운 후보 프롬프트를 제안합니다. 이 배치는 매 반복마다 $D_{pool}$에서 올바르게 분류된 양성 예시 1개, 올바르게 분류된 음성 예시 1개, 잘못 분류된 양성 예시 1개, 잘못 분류된 음성 예시 1개를 포함하도록 갱신됩니다.
   • 평가: 후보들은 무작위성을 완화하기 위해 **3회 실행 다수결 투표(3-run majority voting)**를 사용하여 $D_{val}$에서 점수화됩니다.
   • 유한 백트래킹(Bounded Backtracking): 단 한 번의 실패에 즉시 되돌아가는 방식과 달리, BT-APE는 평가된 모든 후보의 순위 목록을 유지합니다. 이 방법은 설정 가능한 인내 임계값(Patience threshold, $X=3$)의 연속적인 성능 미개선 횟수에 도달할 때까지 궤적을 따라 계속 진행합니다. 그 후에야 비로소 히스토리 상의 차순위 프롬프트로 백트래킹하여, 탐색이 생산적이지 않은 영역에 갇히는 것을 방지합니다.
3. 홀드아웃 평가: 검색 과정에서 발견된 최적의 프롬프트는 최종적이고 편향되지 않은 성능 지표를 제공하기 위해 홀드아웃 테스트 세트($D_{test}$)에서 정확히 한 번 평가됩니다.

주요 설계 차별점

BT-APE는 최첨단 APE 베이스라인인 PE2와 명확히 대조됩니다. 두 방법 모두 단일 궤적 기반의 히스토리 인지 방식이지만, BT-APE는 계산 발자국(computational footprint)을 줄이기 위해 세 가지 핵심적인 차이점을 가집니다:

• 제한된 컨텍스트(Bounded Context): PE2는 상위 $n$개의 프롬프트 전체 히스토리를 조건으로 하여 입력 컨텍스트가 선형적으로 증가합니다. 반면, BT-APE는 현재 프롬프트와 압축된 균형 배치만을 조건으로 하여 컨텍스트 크기를 제한된 상태로 유지합니다.
• 균형 잡힌 예시 선택: BT-APE는 엄격한 4가지 요소(성공/실패 $\times$ 클래스) 선택을 강제하는 반면, PE2는 제약 없는 에러 배치를 사용합니다.
• 명시적 인내(Explicit Patience): BT-APE는 백트래킹을 위해 고정된 인내 임계값을 사용하는 반과 달리, PE2는 성능 미개선에 더 즉각적으로 반응합니다.

실험 설계

본 연구는 다음을 통해 BT-APE를 평가합니다:

• 데이터셋: 세 가지 벤치마크 RE 데이터셋: PROMISE (NFR), PROMISE-Refined, SecReq.
• 모델: 7~8B 파라미터 범위의 5가지 인스트럭션 튜닝된 LLM (Qwen2, Falcon3, Granite-3.2, Ministral, LLaMA-3).
• 베이스라인: 네 가지 고전적 프롬프팅 전략 (Zero-shot, Few-shot, Chain-of-Thought, CoT+Few-shot) 및 PE2 APE 베이스라인.
• 초기화 변형: 두 가지 초기화 전략이 테스트되었습니다: BT-APE-Uninformed (단순하고 직관적인 정의) 및 BT-APE-Informed (RE 문헌에서 선별된 정의).

주요 결과

고전적 베이스라인 대비 성능

BT-APE는 거의 모든 데이터셋 및 모델 조합에서 네 가지 고전적 프롬프팅 전략을 유의미하게 능가합니다.

• 통계적 유의성: 고전적 베이스라인 대비 가중 F1 점수($wF1$)의 평균 개선 폭은 +0.049에서 +0.143 사이이며, 큰 효과 크기($r \ge 0.50$)와 통계적 유의성($Holm-Bonferroni 보정 후 $p < 0.05$)을 보입니다.
• 일관성: BT-APE는 15개 모델-데이터셋 구성 중 11개에서 최상의 고전적 베이스라인과 대등하거나 이를 능가합니다.

PE2 (APE 베이스라인) 대비 성능

• 정확도: BT-APE는 PE2와 통계적으로 구별할 수 없는 성능을 달una히며 (평균 차이 $\Delta = +0.001$, 무시할 만한 효과 크기), 두 방법 모두 유사한 성능 상한선에 수렴합니다.
• 효율성: 동일한 정확도에도 불구하고, BT-APE는 훨씬 더 효율적입니다. BT-APE는 PE2보다 약 72% 적은 누적 입력 토큰과 **66% 적은 실제 실행 시간(wall-clock time)**을 소비합니다. 이는 BT-APE가 소규모, 자원 제약적 또는 폐쇄형(air-gapped) 서버에 배포하기에 더 적합함을 의미합니다.

프롬프트 특징 분석 (RQ3)

프롬프트 진화에 대한 선형 혼합 효과 모델 분석 결과, 고성능 프롬프트의 특정 상관관계가 밝혀졌습니다:

• 긍정적 상관관계: 높은 동사 개수(행동 지향적 언어)와 높은 문장 부호 표식 개수(구조적 명확성)가 성능 향상과 관련이 있습니다.
• 부정적 상관관계: 더 긴 문장/단어 개수, 높은 어휘 다양성, 그리고 높은 구문 복잡성은 성능 저하와 상관관계가 있습니다.
• 의미적 표류(Semantic Drift): 더 큰 의미적 변화를 수반하는 반복(iteration)이 성능 향상과 관련이 있으며, 이는 실질적인 수정이 표면적인 바꾸어 쓰기(paraphrasing)보다 더 효과적임을 시사합니다.

초기화의 영향 (RQ4)

• Informed vs. Uninformed: 도메인 정보가 포함된 클래스 정의를 제공하는 것(BT-APE-Informed)이 최소한의 정보만 있는 정의(BT-APE-Uninformed)에 비해 최종 성능에 통계적으로 유의미한 향상을 가져오지는 않았습니다.
• 강건성: 반복적인 최적화 과정은 약한 초기 프롬프트를 보완할 만큼 충분히 강건하여, 초기화 전략에 관계없이 유사한 최종 성능으로 수렴했습니다.

의의 및 기여

본 논문은 세 가지 주요 기여를 주장합니다:

1. 경량화된 APE 프레임워크: BT-APE는 기존 APE 방식에 대한 계산적으로 효율적인 대안을 제공하며, 현저히 줄어든 자원 발자국으로 최첨단 정확도를 달성합니다. 이는 로컬 및 프라이빗 배포가 필요한 RE 환경에서 자동 프롬프트 최적화의 적용을 가능하게 합니다.
2. 체계적인 경험적 평가: 본 연구는 여러 데이터셋과 LLM에 걸쳐 APE를 고전적 프롬프팅과 처음으로 체계적으로 비교합니다. 이는 APE가 큰 효과 크기와 함께 RE 작업으로 견고하게 전이됨을 입증합니다.
3. 프롬프트 진화에 대한 통찰: 본 연구는 효과적인 프롬프트의 특정 구조적, 의미적 특성(간결하고, 행동 지향적이며, 구조적으로 명확함)을 식별하고, 최적화 프로세스가 성공하는 데 있어 도메인 정보 기반의 초기화가 반드시 필수적인 것은 아님을 보여줍니다.

저자들은 BT-APE를 고성능 자동 프롬프트 최적화와 실제 RE 환경의 자원 제약 사이의 간극을 메우는 실용적인 솔루션으로 제시합니다. 저자들은 도입과 추가 연구를 촉진하기 위해 인터랙티브 도구와 재현 패키지를 공개합니다.