Cross-Domain Data Selection and Augmentation for Automatic Compliance Detection

1. 문제 정의 (Problem)

• 배경: 소프트웨어 및 데이터 프라이버시 보호가 규제 (GDPR, HIPAA 등) 를 준수하는지 확인하는 작업은 복잡하고 리소스 집약적입니다. 자동화된 준수 감지 (Compliance Detection) 가 필요하지만, 법적 텍스트의 복잡성과 다양성으로 인해 한 규정에 훈련된 모델이 다른 규제로 일반화되는 데 실패하는 경우가 많습니다.
• 핵심 과제:
  • 데이터 부족: 특정 규제 (예: GDPR) 에 대한 주석 데이터는 제한적이며, 다른 규제 (예: HIPAA) 로의 전이 학습 시 데이터가 부족합니다.
  • 부정적 전이 (Negative Transfer): 단순히 소스 도메인 (GDPR) 의 데이터를 타겟 도메인 (HIPAA) 에 무작위로 추가할 경우, 오히려 모델 성능이 저하되는 '부정적 전이' 현상이 발생합니다. 이는 도메인 간 용어, 구조, 추론 스타일의 차이 때문입니다.
  • 해결 필요성: 소스 도메인의 방대한 데이터 중 타겟 도메인과의 관련성이 높은 데이터만을 선별하여 증강 (Augmentation) 하는 체계적인 방법론이 필요합니다.

2. 방법론 (Methodology)

이 연구는 준수 감지 작업을 자연어 추론 (NLI, Natural Language Inference) 문제로 재구성하여 접근합니다.

• NLI 프레임워크: 규제 요구사항 (Requirement) 을 '전제 (Premise)', 계약 조항이나 정책 문장 (DPA) 을 '가설 (Hypothesis)'로 설정하여, 두 문장이 논리적으로 일치하는지 (Entailment) 판단합니다.
• 데이터 선택 전략 (Data Selection Strategies): 소스 도메인 (GDPR-DPA) 의 데이터 중 타겟 도메인 (HIPAA) 과 가장 잘 맞는 하위 집합을 선택하기 위해 4 가지 방법을 비교 평가했습니다.
  1. 무작위 샘플링 (Random Sampling): 기준선 (Baseline) 으로 사용.
  2. Moore-Lewis Cross-Entropy Difference: 사전 학습된 언어 모델 (LM) 을 사용하여 소스 데이터와 타겟 데이터 간의 교차 엔트로피 차이를 계산합니다. 차이가 작을수록 타겟 분포와 유사하다고 판단하여 선택합니다.
  3. 중요도 가중치 (Importance Weighting): 소스 데이터가 타겟 분포에서 발생할 확률 (밀도 비율, Density Ratio) 을 로지스틱 회귀 등을 통해 추정하여 가중치를 부여하거나 필터링합니다.
  4. 임베딩 기반 검색 (Embedding-based Retrieval): BERT 등의 사전 학습 모델을 사용하여 텍스트를 임베딩하고, 코사인 유사도 (Cosine Similarity) 를 기반으로 타겟과 가장 유사한 소스 데이터를 검색합니다.
• 실험 설정:
  • 소스: GDPR-DPA 데이터셋 (대규모).
  • 타겟: HIPAA 데이터셋 (소규모).
  • 모델: BERT-large, RoBERTa-large, Legal-BERT, GPT-2-XL, Llama-3 등 다양한 모델 사용.
  • 변수: 선택된 소스 데이터의 비율 (1% ~ 90%) 을 변화시키며 성능을 분석.

3. 주요 기여 (Key Contributions)

1. 체계적인 교차 도메인 데이터 선택 연구: GDPR 에서 HIPAA 로의 전이 학습 시, 소스 데이터 증강이 준수 감지 성능에 미치는 영향을 체계적으로 분석했습니다.
2. 네 가지 선택 전략의 비교 평가: 무작위 샘플링 및 전체 증강을 기준으로, Moore-Lewis, 중요도 가중치, 임베딩 기반 검색 (DSIR) 의 성능을 정량적으로 비교했습니다.
3. 확장성 (Scaling) 효과 분석: 선택된 데이터의 비율에 따른 성능 변화를 분석하여, 부정적 전이가 발생하는 시점과 이를 완화하는 최적의 데이터 양을 규명했습니다.
4. 실용적 통찰: 임베딩 기반 선택이 가장 안정적이며, 중요도 가중치가 특정 비율에서 최고 성능을 보임을 입증하여 신뢰할 수 있는 규제 준수 자동화를 위한 데이터 선별의 중요성을 강조했습니다.

4. 실험 결과 (Results)

• 도메인 내 (In-domain) 성능: Legal-BERT 와 같은 도메인 특화 모델이 GDPR-DPA 에서 높은 성능 (F1 0.86) 을 보였으나, HIPAA 로의 전이 시 성능이 크게 저하됨을 확인했습니다. 제로샷/원샷 LLM 보다 파인튜닝된 인코더 모델이 우세했습니다.
• 교차 도메인 (Cross-domain) 성능 및 데이터 선택 효과:
  • 부정적 전이 현상: 소스 데이터를 무작위로 많이 추가하거나 (중간 비율 10~20% 구간), 부적합한 데이터를 포함할 경우 성능이 급격히 떨어지는 '부정적 전이'가 발생했습니다.
  • 최적의 선택 전략:
    • 중요도 가중치 (Importance Weighting): 소스 데이터의 **5%**만 선택했을 때 가장 높은 성능 (F1 0.97) 을 기록했으나, 데이터 비율이 증가하면 불안정해졌습니다.
    • 임베딩 기반 검색 (Embedding-based Retrieval): 1% 에서 75% 까지 다양한 비율에서 가장 일관되고 안정적인 성능을 보였습니다. 특히 부정적 전이를 효과적으로 피했습니다.
    • Moore-Lewis: 중간 비율에서 안정적이었으나, 임베딩 기반이나 중요도 가중치만큼의 극적인 성능 향상은 보이지 않았습니다.
  • 소량 데이터의 효율성: 전체 소스 데이터의 1%~5% 만을 정교하게 선별하여 증강하는 것이, 더 많은 양의 데이터를 무작위로 추가하는 것보다 훨씬 우수한 성능을 발휘했습니다.
• 심층 분석: 상위 10% 에 해당하는 데이터는 실제 보안 개념 (자동 로그오프, 인증 등) 이 일치하는 '진짜 전이'를 보였으나, 1020% 구간 이후의 데이터는 법적 문장의 일반적인 템플릿 ("을 포함할 수 있으나 이에 국한되지 않음" 등) 에만 매칭되어 의미적 일치는 낮았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 핵심 결론: 규제 준수 자동화에서 단순히 데이터 양을 늘리는 것이 아니라, **타겟 도메인과 의미적으로 정렬된 소스 데이터를 선별 (Selective Augmentation)**하는 것이 부정적 전이를 막고 성능을 극대화하는 핵심 요소입니다.
• 실용적 가치: 제한된 타겟 데이터 (HIPAA) 만으로는 모델 훈련이 어렵지만, 소스 데이터 (GDPR) 의 일부를 지능적으로 선별하여 증강하면 신뢰할 수 있는 준수 감지 시스템을 구축할 수 있음을 입증했습니다.
• 향후 과제: 단순한 데이터 선택을 넘어, 문장 재구성 (Paraphrasing), 백번역 (Backtranslation), 그리고 보증 사례 (Assurance Case) 기반의 구조화된 생성 기법 등을 결합한 제어된 증강 연구와 모델의 설명 가능성 (Explainability) 향상이 필요하다고 제언합니다.

이 논문은 법적 규제 준수라는 특수한 도메인에서, 데이터의 '질 (Quality)'과 '적합성 (Relevance)'이 '양 (Quantity)'보다 더 중요함을 강조하며, 신뢰할 수 있는 AI 기반 규제 준수 시스템 구축을 위한 중요한 방법론적 기반을 제공합니다.