💬 NLP

Do Small Models Use the Law You Give Them? Context-Injected Fine-Tuning for Legal QA in Bangladesh

이 논문은 문맥이 주입된 법률 사례를 바탕으로 소규모 이중 언어 언어 모델을 미세 조정하는 것이 검색된 방글라데시 법령 조항을 정확하게 적용하고 언어 일관성을 유지하는 능력을 유의미하게 향상시키지만, 이러한 이득은 모델 크기에 따라 달라지며 대형 모델에 반드시 균등한 혜택을 주는 것은 아님을 입증한다.

원저자: Moniruzzaman Mahadi, Abrar Mohammed Tanzim Alam, Sayma Siddika Monalisa, Mir Mohammad Asif Abdullah, Swakkhar Shatabda, Md Adnan Arefeen

게시일 2026-07-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Moniruzzaman Mahadi, Abrar Mohammed Tanzim Alam, Sayma Siddika Monalisa, Mir Mohammad Asif Abdullah, Swakkhar Shatabda, Md Adnan Arefeen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터가 도서관의 거의 모든 책을 읽은 믿기지 않을 정도로 빠르고 똑똑한 학생들과 같은 세상을 상상해 보세요. 이 학생들은 "대규모 언어 모델(Large Language Models)"이라고 불립니다. 이들은 대화하고, 이야기를 쓰고, 퍼즐을 푸는 데 뛰어나지만, 가끔 사실을 지어내거나 자신이 하고 있는 게임의 특정 규칙을 잊어버리는 까다로운 습관이 있습니다. 인공지능 분야에서 연구자들은 이 디지털 학생들에게 추측하는 것을 멈추고 규칙을 정확히 따르도록 가르치기 위해 끊임없이 노력하고 있습니다. 한 가지 인기 있는 방법은 "검색(retrieval)"인데, 이는 학생이 시험을 치르기 직전에 교과서의 특정 페이지를 건네주며 그 내용을 읽고 정보를 정확하게 사용하여 답하도록 기대하는 것과 같습니다. 하지만 여기서 큰 질문이 생깁니다. 만약 작고 덜 강력한 학생에게 그 교과서 페이지를 건네준다면, 그 학생은 정말로 그것을 읽고 사용할까요, 아니면 그냥 무시하고 계속 추측할까요? 이것이 방글라데시의 과학자들이 해결하려고 노력 중인 퍼즐입니다. 특히 그곳의 법률 시스템은 영어와 벵골어 모두로 작성된 특정 법률에 의존하고 있으며, 답을 틀리는 것은 심각한 현실 세계의 결과를 초라할 수 있기 때문입니다.

이 연구를 진행한 연구진은 영리한 아이디어를 테스트해 보기로 했습니다. 단순히 학생이 시험을 볼 때 책을 읽기를 바라는 대신, 처음부터 책을 펼쳐 놓은 상태로 그들을 훈련시키면 어떨까 하는 것이었습니다. 그들은 2,165개의 법률 질문과 답변으로 구성된 특별한 훈련 세트를 만들었는데, 모든 질문에는 문제를 해결하는 데 필요한 정확한 법률이 바로 옆에 함께 적혀 있었습니다. 그런 다음 그들은 Qwen3.5라는 작은 오픈 소스 컴퓨터 두뇌를 가져와서 아주 작은 0.8-빌리언(0.8B) 파라미터 버전, 중간 크기인 2-빌리언(2B) 버전, 그리고 약간 더 큰 4-빌리언(4B) 버전의 세 가지 크기로 나누었습니다. 그들은 법률이 항상 수업의 일부가 되는 "컨텍스트 주입(context-injected)" 방식으로 이 모델들을 가르쳤습니다.

훈련 후에 그들은 실제 변호사 시험을 주관하는 기관인 방글라데시 변호사 협회의 실제 시험 문제들을 사용하여 모델들을 테스트했습니다. 그들은 모델들에게 동일한 질문들을 다시 주었지만, 이번에는 단순히 모델이 추측하게 두는 것이 아니라, 모델이 제공된 정보를 실제로 사용할 수 있는지 확인하기 위해 두 가지 다른 검색 방식(BM25와 FAISS)을 사용하여 관련 법률을 함께 제공했습니다. 결과는 큰 성공과 놀라운 혼란이 뒤섞여 있었습니다. 가장 작은 모델(0.8B)의 경우, 훈련은 마법처럼 작용했습니다. 훈련 전에는 법률이 제공되었을 때 질문을 거의 맞히지 못해 100문제 중 단 2문제만을 맞혔습니다. 훈련 후에는 100문제 중 34문제를 맞히며 크게 향상되었습니다. 중간 크기 모델(2B) 또한 눈에 띄게 좋아졌으며, 이는 모델이 주어진 법률을 실제로 읽는 법을 배웠음을 보여주었습니다.

하지만 이야기는 가장 큰 모델(4B)에 이르러 달라졌습니다. 이 모델은 올바른 언어로 답하는 능력은 약간 향상되었지만, 법률이 제공되었을 때 영어 질문에 답하는 능력은 오히려 떨어졌습니다. 이는 이 크기의 모델에게는 훈련이 도움이 되기보다 오히려 혼란을 주었을 수 있음을 시사합니다. 훈련의 또 다른 큰 성과는 어처구로 된 실수를 바로잡은 것이었습니다. 훈련 전에는 벵골어로 질문을 받았을 때 모델들이 언어를 무시하고 영어로 답하는 경우가 44%에서 53%에 달했습니다. 훈련 후에는 이 실수가 거의 사라져 1% 미만으로 떨어졌습니다. 이 연구는 작은 모델들에게는 주어진 법률을 사용하도록 가르치는 것이 판도를 바꾸는 결정적인 역할을 하지만, 더 큰 모델들에게는 그것이 보장된 해결책이 아니며, 단순히 올바른 정보를 가지고 있는 것만으로는 모델이 그것을 어떻게 사용하는지 모른다면 충분하지 않다는 점을 시사합니다.

기술 요약: 방글라데시 법률 QA를 위한 컨텍스트 주입 미세 조정(Context-Injected Fine-Tuning)

문제 정의

소형 언어 모델(SLM)은 프롬프트에 관련 법령이 명시적으로 존재함에도 불구하고, 제공된 컨텍스트 내의 통치 법령 조항을 활용하는 데 종종 실패한다. 이러한 문제는 식민지 시대와 페르시아의 영향을 받은 법률 용어가 표준 뱅골어와 결합된 뱅골어와 같은 저자원 언어에서 특히 두드러진다. 검색 증강 생성(RAG)이 검색된 증거에 모델 출력을 근거하도록 하는 것을 목표로 하지만, 기존 벤치마크는 검색 품질이 주요 병목 구간이라고 가정하는 경우가 많다. 본 논문은 병목 현상이 모델의 '제공된 컨텍스트를 사용하는 능력'에 있는지 조사한다. 구체적으로, 관련 법령 텍스트가 이미 프롬프트에 주입된 상태의 법률 QA 쌍으로 지도 미세 조정(SFT)을 수행하는 것이, 추론 시 소형 모델이 검색된 컨텍스트를 활용하는 능력을 향상시키는가?라는 질문을 던진다.

방법론

데이터셋 구축

저자들은 방글라데시 변호사 위원회(Bangladesh Bar Council) 시험 범위의 핵심인 6개의 주요 법률과 3개의 부속 서류로부터 추출한 2,165개의 이중 언어(뱅골어 및 영어) 법률 QA 기록을 큐레이션하였다:

법률: 형법(1860), 형사소송법(1898), 증거법(1872), 민사소송법(1908), 특정 구제법(1877), 시효법(1908).
구조: 코퍼스는 단일 홉(single-hop) 추출, 고급 선택(방해 요소 기반), 그리고 변호사 시험 스타일의 합성 객관식 문제(MCQ)를 포함한다.
컨텍스트 주입: 핵심적인 설계 선택은 "컨텍스트 주입 미세 조정"이다. 모든 학습 예시는 결정론적으로 채워진 "검색된 조항(Retrieved Sections)" 블록(해당 법령과 방해 요소를 포함)을 가진 검색 증강 프롬프트 형식으로 구성되었다. 이는 모델이 파라미터 메모리에 의존하기보다 공급된 텍스트에 근거하여 답변하도록 강제한다.

모델 및 학습

기반 모델: Qwen3.5 시리즈 (0.8B, 2B, 4B 파라미터).
미세 조정: 모든 7개의 선형 투영(linear projections)에 LoRA(Low-Rank Adaptation)를 적용했다 (r=32, $\alpha$ =64). 전체 파라미터의 약 1%가 학습 가능했다.
설정: AdamW 8-bit를 사용하였으며, 학습률은 $2 \times 10^{-4}$ (코사인 감쇠 적용), 2 에포크(epoch), 2,048 토큰 시퀀스로 설정하였다. 일관성을 보장하기 위해 추론 시에도 학습 프롬프트 템플릿을 정확히 유지하였다.

평가 프로토콜

벤치마크: 2022년 및 2023년 방글라데시 변호사 위원회 MCQ 시험 (원본 뱅골어 및 기계 번역된 영어).
조건: 모델은 세 가지 검색 조건 하에서 테스트되었다:
1. 없음(None): 검색된 컨텍스트 없음.
2. BM25: 희소 검색(sparse retrieval)을 통해 상위 5개 조항 검색.
3. FAISS: 밀집 검색(dense retrieval, multilingual-MiniLM)을 통해 상위 5개 조항 검색.
점수 산정: 엄격한 일관성(세 번의 고정 시드 실행 모두 정답이어야 함), 다수결 투표, 평균 정확도를 사용하여 평가하였다. 통계적 유의성은 대응 표본 McNemar 검정과 Holm 교정을 적용한 무작위 검정을 통해 평가되었다.

주요 결과

1. 미세 조정은 소형 모델의 컨텍스트 활용 능력을 향상시킨다

본 연구는 컨텍스트가 주입된 데이터로 미세 조정을 수행하는 것이 검색이 존재할 때 소형 모델(0.8B 및 2B)의 성능을 유의미하게 향상시킨다는 것을 입증한다.

0.8B 모델: FAISS 검색을 사용한 2022년 영어 시험의 엄격 일관성 점수가 미세 조정 후 2에서 34(100점 만점)로 급증했다. 전체 평균 엄격 정확도는 1.8에서 15.9로 증가했다.
2B 모델: 12개 테스트 셀 중 10개에서 일관된 이득을 보였으며, 평균 엄격 정확도는 10.0에서 17.8로 상승했다.
검색 시너지: 베이스 모델은 검색만으로는 미미하거나 오히려 부정적인 이득(예: 0.8B의 경우 -1.0 포인트)을 보였으나, 미세 조정된 모델은 동일한 검색 텍스트를 활용하여 상당한 이득(+0.8B의 경우 +8.1 포인트)을 달성했다.

2. 대규모 모델(4B)에서의 수확 체감

컨텍스트 주입 미세 조정의 이점은 선형적으로 규모에 따라 증가하지 않았다.

4B 모델: 미세 조정 결과 전체 엄격 일관성 점수에서 순감소(-2.1 포인트)가 나타났다. 뱅골어 성능은 약간 개선되었으나(15.7에서 17.3), 여러 영어 조건에서는 퇴보했다. 베이스 4B 모델은 이미 검색을 효과적으로 활용하고 있었기에(+6.6 포인트 이득), 미세 조정을 통한 추가적인 개선 여지가 적었다.

3. 언어 드리프트(Language Drift) 제거

언어 준수 능력의 교정은 중요한 발견이었다. 베이스 모델은 뱅골어 시험 질문에 영어로 답변하는 경우가 빈번했다(44.0%–53.2%).

영향: 미세 조정은 모든 규모에서 이러한 "언어 드리프트"를 1% 미만(0.2%–0.7%)으로 감소시켰으며, 이는 통계적으로 유의미했다 ( $p < .001$ ).

4. 언어 간 성능 격차

모든 규모와 조건에 걸쳐 모델은 뱅골어보다 영어에서 훨씬 더 높은 성능을 보였다. 비공식적인 천장치(ceiling)를 제공하는 GPT OSS 120B조차도 특정 작업에서 격차(72 대 42)를 보였으며, 이는 뱅골어 저자원 법률 NLP에 남아있는 과제를 강조한다.

의의 및 주장

본 논문은 법률 RAG 시스템에서 검색 품질이 유일한 병목 구간이 아님을 주장한다. 올바른 법령 조항이 제공되더라도, 소형 이중 언어 모델은 이를 사용하지 못하거나 잘못된 언어로 답변할 수 있다.

컨텍스트 활용: 본 연구는 관련 법률을 포함하는 지도 미세 조정이 소형 모델에게 공급된 컨텍스트에 근거하여 답변하는 법을 가르치는 필수 단계임을 확립한다.
규모 의존성: 이 접근 방식의 효능은 모델 크기에 크게 의존한다. 4B 미만 파라미터 모델에서는 상당한 이득을 주지만, 4B 모델에서는 뚜렷한 순이득이 없거나(잠재적 퇴보 포함) 효과가 없다.
언어 제어: 미세 조정은 이중 언어 법률 환경에서 언어 제약 조건을 강제하는 강력한 메커니즘 역할을 하며, 뱅골어로 질의했을 때 모델이 영어로 기본 설정되는 것을 방지한다.

저자들은 기술이 체계적인 법적 문제를 해결할 수는 없지만, 모델이 통치 법령에 근거하고 요청된 언어를 준수하도록 명시적으로 훈련된다면 정확한 법률 정보에 접근하는 비용을 낮출 수 있다고 결론짓는다. 데이터셋과 코드는 추가 연구를 촉진하기 위해 공개되어 있다.