기술 요약: CANDI – 니치 도메인 질의응답을 위한 맥락적 정렬 (Contextual Alignment for Niche Domains Question Answering)

문제 정의

의료 진단 및 금융 자문과 같은 전문적이고 이해관계가 높은 도메인에 대규모 언어 모델(LLM)의 배포가 증가함에 따라 중대한 격차가 드러나고 있습니다. 즉, 모델이 일반적인 지식은 보유하고 있을지라도, **맥락적 정렬(Contextual Alignment)**을 달 Achieve하는 데는 실패한다는 점입니다. 이는 모델이 사용자의 도메인 학문, 전문적 역할, 배경 지식 및 현재 다루고 있는 정확한 주제를 포함하여 대화의 특정 맥락에 응답을 적응시키는 능력을 의미합니다.

전통적인 QA 벤치마크(예: SQuAD, Natural Questions)는 오픈 도메인의 사실적 정보 검색에 초점을 맞추고 있으며, 기업용 애플리케이션에서 요구되는 미묘하고 역할 인지적이며 상황적인 추론을 어떻게 처리하는지에 대한 통찰력을 제공하는 데 한계가 있습니다. 구체적으로, 본 논문은 학교 내 행동 건강(Behavioral Health)을 위한 다층 지원 체계(Multi-Tiered System of Supports, MTSS) 팀이 직면한 과제를 다룹니다. 이러한 다학제 팀(행정가, 상담사, 교사, 임상 전문가 포함)은 자원 제약으로 인해 전문가 코치에 즉각적으로 접근하는 데 어려움을 겪고 있습니다. 현재의 LLM은 이들이 세 가지 개입 단계(보편적, 표적, 집중 단계) 전반에 걸쳐 MTSS 프레임워크를 효과적으로 구현하는 데 필요한 정밀하고 맥락에 민감한 가이드를 제공하는 데 어려움을 겪고 있습니다.

방법론: CANDI-QA

이러한 격차를 해소하기 위해 저자들은 MTSS(B) 도메인에서 LLM을 테스트하기 위해 설계된 새로운 데이터셋이자 평가 프레임워크인 CANDI-QA(Contextual Alignment for Niche Domains Question Answering)를 소개합니다.

1. 데이터셋 큐레이션

데이터셋은 School Behavioral Health Academy(SBHA)에서 유래한 315개의 전문가 큐레이션 질문으로 구성되며, 두 가지 뚜렷한 유형으로 분류됩니다:

• T1: 정보 보조 질문 (90개 항목): 전문가 문헌(예: 모범 사례, 근거 기반 프로토콜)으로부터 정밀한 정보 추출을 요구하는 직접적이고 사실적인 질의입니다. 이 질문들은 인간 전문가가 제공한 "골드 스탠다드(gold-standard)" 답변을 가집니다.
• T2: 적용 추론 질문 (225개 항목): 특정 학생 사례나 시나리오를 기반으로 한 복잡한 다단계(multi-hop) 추론 질문입니다. 이는 실행 가능한 통찰력을 생성하기 위해 역할별 단서와 상황적 맥락에 기반한 추론을 요구합니다. 이 질문들은 단일한 골드 스탠다드 답변을 가지지 않습니다.

2. 프롬프팅 전략

본 연구는 맥락이 미치는 영향을 결정하기 위해 세 가지 프롬프팅 전략에 걸쳐 모델 성능을 평가합니다:

• P1 (No-Context): 모델은 사용자 질의만을 받습니다 (Zero-shot).
• P2 (Role-Aware): 시스템 프롬프트에 사용자의 특정 역할(예: 교사, 상담사)과 해당 역할에 대한 설명이 포함됩니다.
• P3 (Task-Aware): 시스템 프롬프트에 AI의 상위 수준 목표, 사용자의 역할, 그리고 역할 설명이 포함되어, 질의를 MTSS 구현이라는 더 넓은 과제 내에 위치시킵니다.

3. 평가 프레임워크

평가는 질문 유형에 맞게 설계된 이중 구조의 접근 방식을 채택합니다:

• T1 질문의 경우: Cosine Similarity, BERTScore, MoverScore, BLEURT를 포함하여 골드 스탠다드 답변에 대한 참조 기반 메트릭을 사용합니다.
• T2 질문의 경우: RAGAs 라이브러리를 사용하는 검색 증강 생성(RAG) 평가 프레임워크를 사용합니다. 골드 답변이 없기 때문에, Qwen 모델이 생성한 응답이 평가를 위한 "검색된 컨텍스트" 역할을 합니다. 메트릭으로는 Context Precision, Response Relevancy, Faithfulness(컨텍스트와의 사실적 일관성), Semantic Similarity가 포함됩니다.

4. 베이스라인 솔루션: MTSS-Net

강력한 베이스라인을 구축하기 위해 저자들은 신경망 검색과 규칙 기반 추론을 결합한 경량 뉴로-심볼릭(neuro-symbolic) 프레임워크인 MTSS-Net을 제안합니다. 이는 두 가지 변형을 가집니다:

• v1: QA 인스턴스를 구조화된 JSON 객체(작업 유형, 역할, 개입 단계, 정책 참조)로 인코딩하여 심볼릭 규칙 기반 추론을 지원합니다.
• v2: 투명성과 근거 있는 추론을 개선하기 위해 큐레이션된 QA 쌍, 명시적 역할 조건화 및 출처 부기(attribution)를 추가하여 v1을 강화했습니다.

실험 설정

저자들은 10개의 다양한 언어 모델(예: LLaMA 3.2 1B, Phi-4-mini 3.8B와 같은 소형 오픈 소스 시스템부터 Qwen3 32B, LLaMA 4 변형, Deepseek R1과 같은 최첨단 독점 및 대규모 오픈 소스 모델까지)을 평가했습니다. 모든 모델은 전체 CANDI-QA 데이터셋에 대해 세 가지 프롬프팅 전략(P1, P2, P3)을 통해 테스트되었습니다.

주요 결과

T1 성능 (정보 보조)

• 모델 크기의 중요성: 큰 모델이 일반적으로 작은 모델보다 우수한 성능을 보였습니다. **Qwen3 (32B)**는 모든 지표에서 일관되게 가장 높은 의미적 정렬(Cosine Similarity: ~0.43)을 달성했습니다.
• 프롬프팅의 영향: 역할 인지 프롬프팅(P2)은 제로샷(P1)에 비해 완만한 개선을 보였습니다. 그러나 단순한 사실적 질의에 작업 수준의 맥락(P3)을 추가하는 것은 미미한 이득만을 제공했는데, 이는 T1 작업의 경우 주요 가치가 복잡한 맥락적 프레이밍보다는 모델 고유의 지식 검색에 있음을 시사합니다.
• 최저 성능 모델: LLaMA 3.2 (1B) 및 Phi-4-mini (3.8B)와 같은 작은 모델들은 더 큰 모델들에 비해 현저히 낮은 성능을 보였습니다.

T2 성능 (적용 추론)

• 맥락의 결정적 역할: 모든 모델은 P1에서 P3(Task-Aware) 프롬프팅으로 이동할 때 유의미한 개선을 보였습니다.
• 최고 성능 모델: Mistral 7B Instruct는 T2 카테고리에서 특히 P3 전략 하에서 최고의 Faithfulness (0.8014)와 Semantic Similarity (0.8336)를 달성했습니다.
• 추론 능력: 결과는 T2 작업이 단순한 검색 그 이상을 요구함을 나타냅니다. 즉, 근거 있고 시나리오에 민감한 추론을 지원하기 위해 구조화된 역할 및 작업 인지 프롬프팅의 혜택을 크게 받습니다.

의의 및 주장

본 논문은 CANDI-QA를 맥락 인지 및 사용자 정렬 언어 모델 연구를 진전시키기 위한 중요한 새로운 벤치마크로 자리매김합니다. 주요 기여와 주장은 다음과 같습니다:

1. 현재 LLM의 한계 강조: 본 연구는 일반적인 벤치마크에서의 강력한 성능이 니치 도메인의 전문가 선호도와 일치하는 것을 보장하지 않음을 입증합니다. 현재의 모델은 강화된 통합이나 심볼릭 추론 없이는 진정한 맥락적 정렬을 수행하는 데 어려움을 겪습니다.
2. 맥락적 정렬의 필요성: 저자들은 엔터프라이즈 및 교육용 애플리즘을 위해 사용자의 특정 역할과 대화의 맥락에 응답을 맞추는 것이 선택 사항이 아니라 실질적인 유용성을 위한 필수 사항이라고 주장합니다.
3. 하이브리드 접근 방식의 가치: MTSS-Net의 도입은 "블랙박스" 형태의 LLM이 불충분할 수 있는 고위험 도메인에서 투명하고 해석 가능하며 근거 있는 추론을 제공하기 위한 뉴로-심볼릭 접근 방식(신경망과 규칙 기반 로직의 결합)의 잠재력을 강조합니다.
4. 구조화된 데이터의 이점: QA 데이터셋을 구조화된 맥락(예: JSON 기반 역할 및 작업 메타데이터)으로 증강하는 것이 특히 추론 중심 작업에서 모델의 성능과 해석 가능성을 크게 향상시킨다는 점을 시사합니다.

저자들은 프롬프팅 전략(특히 P3)이 개선을 제공하기는 하지만, 행동 건강과 같은 고위험 도메인을 위한 강력하고 신뢰할 수 있는 AI를 달성하기 위해서는 단순한 프롬프팅을 넘어 하이브리드 아키텍처와 더 엄격하고 도메인 특화된 평가 방법론으로 나아가야 한다고 결론짓습니다. 본 논문은 재현성과 향후 연구를 지원하기 위해 CANDI-QA 데이터셋, MTSS-Net 베이스라인 및 평가 스크립트를 공개할 것을 약속합니다.