Classifier or Prompt: A Case Study on Legal Requirements Traceability

이 논문은 법적 요구사항 추적성 문제를 해결하기 위해 제안한 분류기 (Kashif) 와 프롬프트 기반 접근법 (RICE_LRT) 이 기존 기법들을 크게 능가하며, 특히 법적 맥락에서는 문맥에 특화된 솔루션이 필수적임을 실증적으로 입증했습니다.

핵심

📚 배경: 왜 이 일이 어려운가요?

소프트웨어 개발자들은 "앱에서 사용자의 데이터를 어떻게 처리할까?"라고 생각할 때, GDPR(유럽 개인정보 보호법) 같은 복잡한 법률 조항을 찾아봐야 합니다.

하지만 문제는 언어의 장벽입니다.

• 법률가는 "데이터 주체의 동의 없이 수집하지 말라"처럼 어렵고 추상적인 말을 씁니다.
• 개발자는 "로그인 시 비밀번호를 암호화하라"처럼 구체적이고 기술적인 말을 씁니다.

이 두 언어는 완전히 다릅니다. 마치 한 사람은 라틴어로, 다른 한 사람은 코딩 언어로 대화하는 것과 비슷해서, 사람이 일일이 연결해 주려면 엄청난 노력이 필요합니다.

---

🤖 두 가지 새로운 해결책 (비서)

저자들은 이 문제를 해결하기 위해 두 가지 AI 비서를 개발했습니다.

1. 카시프 (Kashif): "엄격한 도서관 사서"

• 방식: 이 비서는 문장 간의 의미 유사성을 계산합니다. "이 문장과 저 문장이 뜻이 비슷하니까 연결하자!"라고 판단합니다.
• 특징:
  • 미리 학습된 모델 (Sentence Transformers) 을 사용해서, 단어의 겉모습이 달라도 뜻이 통하면 연결해 줍니다.
  • 장점: 기존에 있던 다른 방법들보다 훨씬 정확했습니다. (기존 방법들이 40% 정도만 맞추는데, 카시프는 63% 를 맞췄습니다.)
  • 단점: 하지만 너무 복잡한 새로운 법률 (GDPR) 이 나오면, "이건 내 공부한 범위 밖이야"라고 하며 연결을 잘 못합니다. (정확도가 15% 로 떨어짐)

2. 라이스 LRT (Rice LRT): "똑똑한 법률 전문가"

• 방식: 이 비서는 최신 **거대 언어 모델 (GPT-4o)**을 사용합니다. 단순히 문장을 비교하는 게 아니라, 사람처럼 생각하게 (Reasoning) 만듭니다.
• 비유: 카시프가 "단어 수가 비슷하니 연결하자"라고 한다면, 라이스 LRT 는 **"이 기능이 사용자의 개인정보를 다루는 거니까, '동의' 관련 법규를 적용해야겠네"**라고 이유를 붙여서 연결합니다.
• 특징:
  • 프롬프트 엔지니어링 (명령어 설계): AI 에게 "너는 법률 전문가야. 이 요구사항을 보고 어떤 법규가 필요한지 이유를 설명해 줘"라고 아주 구체적으로 지시합니다.
  • 성공: 이 방법은 카시프보다 훨씬 강력했습니다. 복잡한 GDPR 데이터에서도 84% 의 연결을 찾아냈고, 인간이 일일이 확인해야 할 양을 90% 이상 줄여주었습니다.

---

📊 실험 결과: 누가 이겼을까?

연구팀은 두 가지 데이터셋으로 실험을 했습니다.

1. HIPAA (미국 의료법): 비교적 단순한 데이터입니다.
   • 승자: **카시프 (Kashif)**가 이겼습니다. 의미 유사성만으로도 충분히 잘 작동했습니다.
2. GDPR (유럽 개인정보보호법): 훨씬 복잡하고 다양한 데이터입니다.
   • 승자: **라이스 LRT (Rice LRT)**가 압도적으로 이겼습니다.
   • 이유: 법률과 기술 용어 사이의 간극을 **이해 (이해력)**하고, **유추 (Reasoning)**할 수 있는 AI 의 능력이 필요했기 때문입니다.

---

💡 핵심 교훈 (일상적인 비유로)

이 논문의 결론은 다음과 같습니다.

"단순한 단어 매칭 (카시프) 은 간단한 문제엔 좋지만, 복잡한 법률 같은 뉘앙스가 중요한 문제엔 '생각하는 AI (라이스 LRT)'가 필요합니다."

마치 **단순한 검색 엔진 (카시프)**은 키워드가 맞으면 결과를 보여주지만, **유능한 법률 상담사 (라이스 LRT)**는 질문의 맥락을 이해하고 "왜 이 법이 필요한지"까지 설명해 주는 것과 같습니다.

결론적으로:
소프트웨어가 법을 지키도록 하려면, 단순히 키워드를 찾는 것보다 법률의 맥락을 이해하고 추론할 수 있는 AI를 사용하는 것이 훨씬 효과적이며, 개발자의 시간을 크게 절약해 줄 수 있다는 것을 증명했습니다.

기술 요약

이 논문은 "법적 요구사항 추적성 (Legal Requirements Traceability, LRT)" 문제를 해결하기 위해 제안된 두 가지 자동화 솔루션 (분류기 기반인 Kashif와 프롬프트 엔지니어링 기반인 Rice LRT) 에 대한 사례 연구입니다. 소프트웨어 개발이 윤리적 기준과 공공 안전을 준수하도록 하는 새로운 규제가 계속 도입됨에 따라, 소프트웨어 요구사항을 법적 조항에 추적 (trace) 하는 작업의 중요성이 커지고 있으나, 이를 수동으로 수행하는 것은 시간과 비용이 많이 들고 비현실적입니다.

다음은 논문의 주요 내용을 한국어로 요약한 기술적 개요입니다.

---

1. 문제 정의 (Problem Statement)

• 법적 요구사항 추적성 (LRT) 의 어려움: 소프트웨어 요구사항 (기술적 언어) 과 법적 규정 (법률적 언어) 사이에는 어휘, 스타일, 구조, 추상화 수준에서 큰 차이가 존재합니다. 이를 '언어 불일치 (Language Discrepancy)'라고 합니다.
• 기존 방법의 한계: 기존 요구사항 추적성 연구는 주로 어휘 중첩 (lexical overlap) 에 기반한 통계적 모델 (TF-IDF 등) 이나 초기 NLP 모델을 사용했습니다. 그러나 LRT 는 단순한 단어 매칭이 아닌, 법적 용어와 기술적 용어 간의 개념적 연결을 추론해야 하므로 기존 방법들은 성능이 낮았습니다.
• 데이터 부족: 산업 현장에서는 개인정보 보호 및 기밀 유지로 인해 대규모의 '요구사항 - 규정' 쌍으로 구성된 레이블 데이터 (훈련 데이터) 를 구하기 어렵습니다.

2. 제안된 방법론 (Methodology)

저자들은 두 가지 서로 다른 접근법을 제안했습니다.

A. Kashif (분류기 기반 접근)

• 개념: 문장 임베딩 (Sentence Embeddings) 과 시맨틱 유사도 (Semantic Similarity) 를 활용하는 분류기입니다.
• 아키텍처: Sentence Transformers (ST) 를 기반으로 합니다. ST 는 단어 수준의 모델 (BERT 등) 이 아닌, 전체 문장의 의미적 맥락을 포착하도록 훈련된 모델입니다.
• 작동 원리:
  1. 학습: 수동으로 추적된 링크가 있는 훈련 데이터셋 (HIPAA 규정 기반) 을 사용하여 ST 모델을 파인튜닝합니다.
  2. 유사도 계산: 각 요구사항과 각 규정 조항 간의 코사인 유사도 (Cosine Similarity) 를 계산합니다.
  3. 예측: 설정된 임계값 (Threshold) 을 기준으로 추적 링크를 예측합니다. (일정 임계값, 동적 임계값, 최대 델타 컷오프, 튜닝된 임계값 등 4 가지 변형 실험)

B. Rice LRT (프롬프트 엔지니어링 기반 접근)

• 개념: 대규모 언어 모델 (LLM, GPT-4o) 에 특화된 프롬프트를 설계하여 추론 능력을 활용하는 접근법입니다.
• 프레임워크: Rice (Role, Instruction, Context, Constraints, Examples) 프레임워크를 기반으로 프롬프트를 설계했습니다.
  • Context: LRT 작업의 배경 설명.
  • Examples (Few-shot): 실제 추적 사례와 그 근거 (Rationale) 를 포함하여 모델의 추론을 유도.
  • Instruction: 간접적 관계 (indirect links) 를 고려하고, 정밀도보다 재현율 (Recall) 을 우선시하도록 지시.
  • Output Indicator: 출력 형식과 근거 설명을 요구.
• 작동 원리: 설계된 프롬프트를 GPT-4o 에 입력하여 요구사항에 해당하는 규정 조항과 그 이유를 생성하게 합니다.

3. 주요 기여 (Key Contributions)

1. 두 가지 자동화 솔루션 제안: LRT 를 위한 Sentence Transformer 기반 분류기 (Kashif) 와 구조화된 프롬프트 기반 LLM 접근법 (Rice LRT) 을 개발했습니다.
2. 새로운 데이터셋 구축: HIPAA 데이터셋 외에, GDPR(일반 데이터 보호 규정) 과 관련된 310 개의 요구사항과 26 개의 규정 조항으로 구성된 새로운 복잡한 테스트 데이터셋을 구축하고 공개했습니다.
3. 광범위한 베이스라인 비교: 기존 문헌의 7 가지 분류기 (LSI, LDA, GloVe, TraceBERT, RoBERTa, LLaMa 등) 와 비교 평가를 수행했습니다.
4. 실증적 평가: 표준 벤치마크 (HIPAA) 와 새로운 복잡한 데이터셋 (GDPR) 에서 두 접근법의 성능을 정량적으로 평가했습니다.

4. 실험 결과 (Results)

A. 벤치마크 데이터셋 (HIPAA) 에서의 Kashif 성능

• 성능: Kashif (상수 임계값 0.5 사용) 는 **F2 점수 약 63%**를 기록했습니다.
• 비교: 기존 최상위 베이스라인보다 **F2 점수에서 21~34%p(percentage points)**만큼 크게 우월한 성능을 보였습니다.
• 의미: ST 기반 모델이 법적 - 기술적 언어 간 불일치를 효과적으로 해결할 수 있음을 입증했습니다.

B. 복잡한 데이터셋 (GDPR) 에서의 Rice LRT vs Kashif

• Kashif 의 한계: HIPAA 에서 훈련된 Kashif 를 GDPR 데이터에 적용했을 때 재현율 (Recall) 이 **약 15%**로 떨어졌습니다. 이는 훈련 데이터와 테스트 데이터의 도메인 복잡도 차이로 인해 일반화가 어렵다는 것을 보여줍니다.
• Rice LRT 의 우월성:
  • 성능: Rice LRT (GPT-4o 사용) 는 **평균 재현율 84%, F2 점수 61%**를 달성했습니다.
  • 비교: Kashif 보다 정확도 (Accuracy) 에서 69%p, 기존 프롬프트 베이스라인보다 F2 점수에서 34%p 더 높은 성능을 보였습니다.
  • 실용성: 분석가가 검토해야 하는 규정의 양을 전체의 약 **9.5%**로 줄이면서도 실제 추적 링크의 **84%**를 찾아냈습니다. 또한, 각 예측에 대한 **이유 (Rationale)**를 제공하여 인간 분석가의 검증 효율을 높였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 법적 도메인 특화 필요성: 기존 문헌에서 제안된 일반적인 요구사항 추적성 기술은 법적 문서의 특수성 (용어 차이, 간접적 관계) 을 처리하기에 부족함이 확인되었습니다.
• LLM 과 프롬프트 엔지니어링의 잠재력: 복잡한 법적 맥락에서는 단순한 분류기보다, 잘 설계된 프롬프트를 통해 추론 능력을 발휘하는 생성형 LLM (Rice LRT) 이 더 효과적임을 입증했습니다.
• 실무적 가치: Rice LRT 를 사용하면 수동 추적 작업에 소요되는 시간과 노력을 획기적으로 줄일 수 있으며, 생성된 근거를 통해 분석가의 의사결정을 지원할 수 있습니다.
• 향후 과제: 오탐지 (False Positives) 를 줄이고, 도메인 특화 지식을 LLM 에 더 효과적으로 통합하여 성능을 개선하는 연구가 필요하며, 인간 전문가를 포함한 평가 (Human-in-the-loop) 가 요구됩니다.

요약하자면, 이 연구는 법적 규정 준수 소프트웨어 개발을 위해 요구사항과 규정 간의 추적 링크를 자동화하는 데 있어, **Sentence Transformer 기반 분류기 (Kashif)**가 기존 방법보다 우수하지만, **구조화된 프롬프트를 활용한 LLM (Rice LRT)**이 가장 복잡하고 다양한 법적 맥락에서 가장 높은 성능과 실용성을 제공함을 입증한 중요한 사례 연구입니다.