ImmigrationQA: A Source-Grounded Dataset and Small-Model Adaptation for U.S. Immigration Law

기술 요약: ImmigrationQA 및 소형 모델의 미국 이민법 적응

문제 정의
미국 이민법은 절차적으로 매우 밀집된 영역이며, 특히 법적 대리인이 없는 신청자들에게 실질적인 이해관계가 걸린 중요한 분야입니다. 관련 정보는 수천 페이지에 달하는 공식 정책(USCIS Policy Manual), 연방 규정(8 CFR), 판례(BIA 선례), 그리고 빈번하게 변경되는 절차적 지침 등에 흩어져 있습니다. 범용 거대언어모델(LLM)은 이 영역에서 어려움을 겪으며, 양식 번호를 혼동하거나, 마감 기한을 잘못 명시하거나, 비자 카테고리 간의 요구 사항을 혼동하는 경우가 빈번합니다. 핵심적인 난제는 데이터 희소성입니다. 공식 지침은 공개적으로 이용 가능하지만, 대부분의 LLM 사전 학습 코퍼스 내에서는 그 절차적 복잡성에 비해 상대적으로 희소하며, 이로 인해 환각 현상과 사실적 오류가 발생합니다.

방법론
본 논문은 소스 기반 데이터셋 구축과 소형 언어 모델의 매개변수 효율적 미세 조정(Parameter-Efficient Fine-Tuning)이라는 두 부분의 방법론을 통해 이 격차를 해결합니다.

1. 코퍼스 구축 (ImmigrationQA):

   • 출처: 데이터셋은 USCIS Policy Manual, 8 CFR, BIA 선례 결정문, 커뮤니티 포럼(비권위적 출처로 라벨링됨)을 포함한 11개의 주요 및 부차적 출처로부터 수집되었습니다. 이를 통해 10,056개의 검증된 정형 문서와 18,308개의 텍스트 청크를 확보했습니다.
   • 생성: 이 청크들로부터 Amazon Bedrock의 Claude Sonnet 4.6을 사용하여 구조화된 질의응답(QA) 쌍을 생성했습니다. 소스 유형(예: faq, rule, form, precedent, statistics)에 따라 5가지 생성 모드를 정의하였으며, 각 모드에는 고유한 프롬프트가 적용되었습니다.
   • 검증: 답변이 소스 스팬(span)과 어휘적 중복이 없거나(환각 방지 목적) 너무 짧은 경우 해당 쌍을 거부하는 엄격한 필터링 과정을 거쳤습니다. 그 결과, 13개의 이민 하위 도메인에 걸친 17,058개의 최종 QA 쌍을 확보했습니다. 각 쌍에는 답변 유형, 하위 주제, 권위 수준, 시간 민감도 플래그를 포함한 메타데이터가 주석으로 달렸습니다.

2. 모델 적응:

   • 아키텍처: Llama 3.2 3B Instruct 모델을 저차원 적응(LoRA)을 사용하여 미세 조정했습니다.
   • 구성: 훈련에는 rank($r$) 32와 alpha 64를 사용하였으며, 4개의 모든 어텐션 투영 행렬을 대상으로 했습니다. 훈련은 AWS SageMaker ml.g5.2xlarge 인스턴스에서 학습률 5e-5로 2 에포크(epoch) 동안 진행되었습니다.
   • 비용 효율성: 데이터 생성과 모델 훈련을 포함한 전체 파이프라인 비용은 클라우드 컴퓨팅 비용으로 약 29달 달러가 소요되었습니다.

3. 평가:

   • 설정: 미세 조정된 모델은 홀드아웃(held-out) 분할 데이터인 993개의 쌍(상세 점수 산출을 위해 101개의 예시로 구성된 층화 표본 사용)을 대상으로 평가되었습니다.
   • 베이스라인: 성능은 제로샷(zero-shot) 방식의 Llama 3 8B 베이스 모델 및 제로샷 Claude Sonnet 4.6 베이스라인과 비교되었습니다.
   • 지표: Claude Sonnet 4.6이 사실적 정확성과 완결성을 기준으로 0–3점 척도의 루브릭(rubric)에 따라 예측값을 채점하는 "LLM-as-judge" 패러다임이 채택되었습니다.

주요 결과

• 성능 향상: 미세 조정된 3B 모델은 평균 점수 1.08/3.0을 기록하여, Llama 3 8B 베이스 모델(0.85/3.0) 대비 27%의 상대적 개선을 이루었습니다. 완전 정답률(점수 3점)은 4%에서 16.8%로 증가했습니다.
• 하위 도메인 편차: 개선 효과는 여행 서류(평균 점수 +1.00), 신분 조정(adjustment of status), 비이민 비자와 같은 절차적 하위 도메인에 집중되었습니다. 이 영역들에서 미세 조정된 모델은 베이스 모델을 유의미하게 앞질렀으며, 베이스 모델은 종종 0점에 가까운 점수를 기록했습니다.
• 한계점: 미세 조정된 모델은 추방(removal), 인도적 사유(humanitarian), 입국 불허(admissibility), **망명(asylum)**과 같이 다단계 법적 추론이나 특정 규정 인용이 필요한 복잡한 하위 도메인에서는 8B 베이스 모델보다 낮은 성능을 보였습니다. 또한 시간 민감적인 통계 및 수치적 사실에 대해 어려움을 겪었으며, 그럴듯하지만 틀린 값을 대체하여 제시하는 경합을 보였습니다.
• 베이스라인 비교: 미세 조정된 모델은 동일 계열의 베이스 모델보다는 개선되었으나, 제로샷 Claude Sonnet 4.6 베이스라인(1.52/3.0)은 넘어서지 못했으며, 이는 파라미터 수와 사전 학습의 차이를 반영합니다.

의의 및 주장
본 논문의 주요 기여는 ImmigrationQA 데이터셋과 저렴한 클라우드 비용으로 정부 공식 출처로부터 도메인 특화된 소스 기반 QA 데이터를 구축하는 재현 가능한 파이프라인이라고 주장합니다. 본 연구는 다음을 입증합니다:

1. 30달러 미만의 비용으로 10,000개 이상의 고품질 이민 문서를 수집하고 이를 구조화된 훈련 데이터로 변환할 수 있습니다.
2. 이 데이터로 소형(3B 파라미터) 모델을 미세 조정하면, 일반적인 미조정 베이스 모델에 비해 특히 이산적이고 규칙 기반인 질의에 대해 절차적 정확도가 크게 향상됩니다.
3. 이 접근 방식은 소형 모델의 법률 적응을 위한 토대를 제공하지만, 저자들은 결과물이 법률 자문을 대체할 수 없음을 명시적으로 밝힙니다.

저자들은 본 시스템이 정적 코퍼스(크롤링 날짜에 고정됨)와 파라미터적 성격(검색 증강 기능 부재)에 의해 제한되며, 따라서 시간 민감적인 법률 조언이나 복잡한 다단계 법적 추론에는 부적합하다고 강조합니다. 데이터셋, 모델, 코드 및 프롬프트는 추가 연구를 지원하기 위해 공개되었습니다.