기술 요약: OCC-RAG: 충실한 질문 답변을 위한 최적의 인지 코어 (Optimal Cognitive Core)

문제 정의

최근 대규모 언어 모델(LLM)의 발전은 주로 규모 확장(scaling)에 의해 주도되었으며, 그 결과 모델들이 방대한 양의 세상 지식을 가중치 속에 흡수하게 되었습니다. 그러나 많은 실질적인 응용 분야, 특히 **문맥 질문 답변(Context QA)**을 요구하는 분야에서는 광범위한 파라미터 지식보다 견고한 추론 능력과 제공된 근거에 대한 엄격한 준수 능력이 더 큰 이점을 제공합니다.

현재의 LLM은 문맥 QA에서 세 가지 결정적인 과제에 직면해 있습니다:

1. 충실성 부족 (Lack of Faithfulness): 모델이 제공된 문맥보다 내부의 파라미터 지식을 우선시하여, 환각을 일으키거나 입력 텍스트와 모순되는 답변을 내놓는 현상(예: 문맥이 반사실적 시나리오를 제시할 때 실제 세계의 사실에 기반하여 답변하는 경우)이 발생합니다.
2. 불충분한 멀티홉 추론 (Insufficient Multi-hop Reasoning): 모델이 암기된 지름길에 의존하지 않고, 문맥의 서로 다른 부분에 흩어진 정보를 합성하여 논리적 간극을 메우는 데 어려움을 겪습니다.
3. 거절 능력 부재 (Inability to Abstain): 모델이 문맥이 불충분하거나, 모호하거나, 필요한 정보가 부족하다는 것을 인식하지 못하고, 정교하게 조율된 거절 대신 확신에 찬 오답을 내놓는 경우가 빈번합니다.

소형 언어 모델(SLM)은 원칙적이고 비용 효율적인 대안을 제시하지만, 환각을 일으키거나 암기된 지식으로 회귀하지 않고 이러한 작업을 신뢰성 있게 수행하기 위한 특화된 훈련이 부족한 경우가 많습니다.

방법론

저자들은 지식 용량보다 작업 특화된 추론 능력을 우선시하도록 설계된 SLM 제품군인 **Optimal Cognitive Core (OCC)**를 소개합니다. 본 논문에서 제시된 특정 변체인 OCC-RAG는 충실하고 문맥에 근거한 질문 답변에 최적화되어 있습니다.

1. 모델 아키텍처 및 훈련 전략

• 기반 모델: 저자들은 초기 QA 슬라이스 테스트에서 Gemma3 및 SmolLM3를 포함한 오픈 웨이트 SLM 제품군 중 가장 강력한 성능을 보인 Qwen3-0.6B-Base와 Qwen3-1.7B-Base를 시작점으로 선택했습니다.
• 미드 트레이닝 (Mid-Training): 처음부터 사전 훈련(pre-training)을 하는 대신, 모델은 대규모 합성 코퍼스를 통해 미드 트레이닝(지도 미세 조정)을 거칩니다. 이 단계는 모델의 추론 구조를 문맥 QA를 위해 명시적으로 형성하도록 설계되었습니다.
• 훈련 목적 함수: 손실(loss)은 응답 토큰에만 적용됩니다. 모델은 문맥 내의 문자 그대로의 인용구에 근거한 출처 인용을 포함하는 구조화된 추론 흔적(reasoning traces)을 생성하도록 훈련됩니다.

2. 합성 데이터 파이프라인

본 방법론의 핵심은 325만 개 이상의 QA 예시로 구성된 코퍼스를 합성하기 위한 새로운 파이프라인입니다. 이 데이터는 멀티홉 추론, 엄격한 문맥 충실성, 그리고 조율된 거절이라는 세 가지 특정 동작을 강제하도록 설계되었습니다.

• 데이터 구성:
  • 싱글홉 QA (Single-hop QA): 가장 큰 하위 집합(~2.78M 쌍)으로, 위키피디아 페이지를 수집하고 텍스트를 정제하여 추출형 QA 쌍을 생성하여 만들어졌습니다.
  • 멀티홉 QA (Multi-hop QA): Wikontic 파이프라인을 통해 문맥(골드 및 디스트랙터 청크)에서 추출된 **지식 그래프(KG)**를 사용하여 생성되었습니다. 이는 "브릿지" 엔티티의 존재를 보장하고 추론 복잡성에 대한 구조적 제어를 제공합니다. 파이프라인은 여러 단락에 걸친 정보 융합을 요구하는 질문을 생성하기 위해 KG에서 경로를 샘플링합니다.
  • 답변 불가 (Abstention) QA: 문맥이 의도적으로 불충분한 약 4.3만 개의 예시로 구성된 하위 집합입니다. 이는 추출 모델이 축소된 문맥에서 정답을 복구할 수 없는 사례를 식별하는 미세 조정된 DeBERTa 모델을 사용하여, 정보가 누락되었음을 나타내는 사례를 구축함으로써 만들어졌습니다.
• 구조화된 추론 흔적 (Structured Reasoning Traces): 모든 훈련 인스턴스는 다음 네 가지 섹션으로 구성된 명시적인 추론 흔적을 포함합니다:
  1. 질의 분석 (Query Analysis): 질문의 의도와 엔티티를 식별합니다.
  2. 출처 분석 (Source Analysis): 사실을 특정 소스 구절에 귀속시킵니다.
  3. 추론 (Reasoning): 사실들을 결합하여 답을 도출합니다.
  4. 상태 및 답변 (Status and Answer): 명시적인 ANSWERABLE/UNANSWERABLE(답변 가능/불가능) 판정 후 최종 답변을 제시합니다.
• 데이터 혼합 전략: 모델이 추론 능력을 발달시키도록 하기 위해, 훈련 커리큘럼은 싱글홉 데이터가 토큰 예산의 대부분을 차지함에도 불구하고, 멀티홉 예시를 싱글홉 예시(1회 노출)보다 더 많이 오버샘플링(에폭당 3회 노출)합니다.

3. 평가 벤치마크

모델은 세 가지 핵심 차원에서 평가됩니다:

• 멀티홉 추론: HotpotQA, MuSiQue, TAT-QA (정확도 및 F1 측정).
• 충실성: 반사실적 문맥에 대한 성능을 테스트하는 ConFiQA. 지표로는 정확도(In-Accuracy)와 모델이 문맥보다 내부 지식에 기본적으로 의존하는 정도를 측정하는 **암기 비율 (Memorization Ratio, MR)**이 포함됩니다.
• 거절 (Refusal): 답변 불가능한 질문을 올바르게 식별하는 능력을 측정하는 MuSiQue-Un (거절 정확도).

주요 결과

출시된 모델인 OCC-RAG-0.6B와 OCC-RAG-1.7B는 컴팩트하고 작업 특화된 SLM이 일반 목적의 모델보다 2~6배 큰 모델의 성능을 대등하게 따라잡거나 능가할 수 있음을 입증합니다.

• 규모 대비 성능:
  • OCC-RAG-0.6B는 모든 차원(멀티홉, 충실성, 거절)에서 Gemma3-4B 및 SmolLM3-3B를 능가합니다.
  • OCC-RAG-1.7B는 멀티홉 추론의 '생각 모드(thinking mode)'에서 Qwen3-4B와 대등하거나 우수한 결과를 보이며, 충실성과 거절 측면에서는 이를 크게 앞섭니다.
• 충실성 및 암기:
  • OCC-RAG-1.7B는 Memorization Ratio (MR)를 12.7(Qwen3-1.7B)에서 5.0으로 낮추어, 제공된 문맥을 내부 지식보다 우선시하는 강력한 능력을 보여줍니다.
  • ConFiQA에서 OCC-RAG-0.6B는 Qwen3-1.7B보다 9.5 포인트 높은 성능을 기록했습니다.
• 거절 능력:
  • OCC-RAG-1.7B는 **87.2%**의 거절 정확도를 달성하며, 8B 이상의 파라미터를 가진 모델들과 대등한 성능을 보였습니다. 반면 더 작은 베이스라인 모델들은 크게 고전했습니다.
• 특화된 베이스라인과의 비교:
  • OCC-RAG-0.6B는 이전의 특화된 베이스라인인 Pleias-RAG-1.2B보다 MuSiQue에서 21.6 포인트 앞서며, 충실성 지표에서도 이를 크게 압도합니다.

의의 및 주장

본 논문은 충실성이 규모만으로 달성되는 것이 아님을 역설합니다. 대신, 특정 훈련 커리큘럼과 감독 형식을 통해 학습될 수 있습니다.

• 최적의 인지 코어 (Optimal Cognitive Core): 저자들은 정답이 근거에 묶여 있어야 하는 응용 분야(예: 법률, 의료, 팩트 체크 도메인)에서, "최적의 인지 코어"—즉, 컴팩트하고 작업 특화된 아키텍처—가 점점 더 커지는 일반 목적의 모델에 대한 실질적이고 효율적인 대안이라고 주장합니다.
• 학습된 거절 (Learned Abstention): 본 연구는 "안전한 거절"이 구조화된 감독을 통해 휴리스틱에서 학습된 추론 행동으로 변모할 수 있음을 보여주며, 이를 통해 SLM이 고위험 환경에서 더욱 신뢰할 수 있게 만듭니다.
• 효율성: 구조화된 추론 흔적을 가진 합성 코퍼스로 미드 트레이닝을 수행함으로써, 저자들은 SLM이 모델 파라미터를 확장하거나 전체 "생각 모드" 추론을 사용하는 계산 비용 없이도 멀티홉 추론과 근거 기반 과정을 내재화할 수 있음을 보여줍니다.

결론적으로 OCC-RAG는 누락되거나 상충하는 증거에 대해서도 탄력적으로 대응할 수 있는 투명하고 효율적이며 견고한 QA 시스템을 구축하기 위한 재사용 가능한 레시피를 제공합니다.