💻 computer science

OSCAR: Orchestrated Self-verification and Cross-path Refinement

이 논문은 확산 언어 모델의 노이즈 제거 궤적을 활용하여 훈련 없이 불확실성을 탐지하고 증거 기반 재마스크를 수행함으로써 환각을 효과적으로 줄이는 새로운 추론 프레임워크인 OSCAR 를 제안합니다.

원저자: Yash Shah, Abhijit Chakraborty, Naresh Kumar Devulapally, Vishnu Lokhande, Vivek Gupta

게시일 2026-04-03

📖 4 분 읽기☕ 가벼운 읽기

원저자: Yash Shah, Abhijit Chakraborty, Naresh Kumar Devulapally, Vishnu Lokhande, Vivek Gupta

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 OSCAR이라는 새로운 기술을 소개합니다. 이 기술은 차세대 언어 모델인 '확산 언어 모델 (Diffusion Language Models)'이 만들어내는 **환각 (Hallucination, 사실과 다른 거짓말)**을 실시간으로 찾아내고 고쳐주는 방법입니다.

기존의 인공지능 (생성형 AI) 이 거짓말을 할 때, 우리는 보통 "아, 이거 틀렸네"라고 나중에 알 수 있습니다. 하지만 OSCAR 은 글이 만들어지는 과정 자체를 감시하다가, "여기가 불안정하네?"라고 바로 알아채고 고쳐줍니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

🎨 비유: "혼란스러운 그림 그리기"와 "OSCAR"

1. 기존 방식 vs. 확산 모델 (DLM)

기존 AI ( Autoregressive): 마치 한 줄씩 글자를 써가는 작가 같습니다. "A 를 쓰고, 그다음 B 를 쓰고..."라고 순서대로 써갑니다. 일단 한 글자를 쓰면 되돌릴 수 없어서, 실수가 나중까지 이어지기 쉽습니다.
확산 모델 (DLM): 마치 점점이 찍혀 있는 그림을 완성하는 화가 같습니다. 처음엔 종이가 다 가려져 있고 (마스크 상태), 시간이 지날수록 가려진 부분들이 하나씩 드러나며 그림이 완성됩니다. 이 과정에서 화가는 "이 부분은 빨간색일까, 파란색일까?"라고 여러 번 고민하며 수정할 수 있습니다.

2. 문제: "실수가 얼어붙는 순간" (Crystallization)

화가가 그림을 그릴 때, 만약 초반에 실수로 잘못된 색을 칠해버리면, 그 잘못된 색이 주변에 영향을 미쳐 전체 그림이 엉망이 될 수 있습니다. 이를 논문에서는 **"실수가 얼어붙는 순간 (Hallucination Crystallization)"**이라고 부릅니다.

3. OSCAR 의 해결책: "여러 명의 화가에게 동시에 그리게 하기"

OSCAR 는 이 문제를 해결하기 위해 아주 창의적인 방법을 씁니다.

비유: "동시에 8 명의 화가를 부르는 것"

OSCAR 는 그림을 그릴 때 단 한 명의 화가만 부르는 게 아니라, 8 명의 화가를 동시에 부릅니다. 그리고 중요한 규칙을 줍니다.

규칙: "각자 서로 다른 순서로 가려진 부분을 드러내서 그림을 완성해 봐!"

예를 들어, 1 번 화가는 "먼저 하늘을 그리고, 다음엔 나무를 그려"라고 순서대로 그립니다. 하지만 2 번 화가는 "먼저 나무를 그리고, 다음엔 하늘을 그려"라고 반대로 그릴 수 있습니다.

진짜 사실 (Fact): 하늘이 파란색이라면, 8 명 모두 하늘을 그릴 때 파란색을 칠할 것입니다. (모두 동의함 = 확실함)
가짜 사실 (Hallucination): 만약 하늘이 사실은 초록색인데, 1 번 화가가 실수로 "파란색"이라고 생각했다면? 2 번 화가는 "초록색"이라고 생각할 수도 있습니다. 8 명이 그린 결과물이 제각각 다르면? → "아, 이 부분은 화가들도 확신이 없네! 여기가 가짜일 확률이 높은 곳이군!"이라고 바로 알 수 있습니다.

4. OSCAR 의 3 단계 작업 과정

동시 그리기 (Parallel Chains): 8 명의 화가 (모델) 가 서로 다른 순서로 그림을 그립니다.
불안한 부분 찾기 (Localization): 8 명이 그린 결과를 비교합니다. "여기는 8 명이 다 같은 색을 썼네? OK. 근데 저기는 4 명은 빨간색, 4 명은 파란색이야? 여기가 불안정하네!"라고 표시합니다.
표적 수정 (Targeted Remasking): 불안정한 부분 (예: "파란색 vs 파란색"이 아닌 "빨간색 vs 파란색"으로 갈라진 곳) 만 지우고, **검색된 사실 정보 (Evidence)**를 바탕으로 다시 그립니다. 나머지 잘 그린 부분은 건드리지 않습니다.

💡 왜 이것이 혁신적인가요?

학습이 필요 없습니다 (Training-Free):
- 기존 방식은 "거짓말을 하는 패턴"을 학습시키기 위해 수많은 거짓말 데이터를 가르쳐야 했습니다.
- 하지만 OSCAR 은 모델이 스스로 가진 '불확실성' 신호를 이용합니다. "우리가 서로 의견이 안 맞으면, 그게 바로 틀린 부분일 거야"라는 상식만 있으면 됩니다.
실시간 교정 (Inference-time Control):
- 글이 완성된 뒤에 "틀렸네"라고 지적하는 게 아니라, 글이 만들어지는 중간에 "이거 수정하자"라고 바로 고쳐줍니다.
효율성:
- 8 명의 화가를 부르는 게 시간이 더 걸릴 것 같지만, OSCAR 은 이들을 한 번에 묶어서 처리하므로 전체 시간이 약 1.3 배만 늘어납니다. 하지만 정확도는 크게 좋아집니다.

📊 요약: OSCAR 이 무엇을 해냈나요?

사실 확인: 퀴즈 (TriviaQA) 나 복잡한 질문 (HotpotQA) 에서 거짓말을 줄이고 정답률을 높였습니다.
비용 대비 효과: 훈련된 복잡한 감시 시스템 (다른 AI 가 거짓말을 감시하는 것) 보다 더 정확하게 거짓말을 찾아냈습니다.
핵심 통찰: 확산 모델 (DLM) 은 글자를 하나씩 나열하는 기존 AI 와 달리, 여러 가지 가능성을 동시에 유지할 수 있는 구조를 가지고 있습니다. OSCAR 는 이 고유한 능력을 이용해 "어디가 헷갈리는지"를 찾아내고 고치는 첫 번째 방법입니다.

한 줄 요약:

OSCAR 는 "여러 명의 화가가 서로 다른 순서로 그림을 그리게 해서, 의견이 갈라진 부분 (거짓말) 만 골라내어 사실로 바로 고쳐주는 똑똑한 감독관"입니다.

1. 문제 정의 (Problem)

할루시네이션 (Hallucination) 의 고착화: 기존 생성형 언어 모델 (AR 모델) 과 달리, 확산 언어 모델 (Diffusion Language Models, DLMs) 은 마스킹된 시퀀스를 반복적으로 디노이징 (denoising) 하며 텍스트를 생성합니다. DLM 에서 초기 단계의 잘못된 토큰 결정 (commitment) 은 양방향 어텐션 메커니즘을 통해 이후 모든 디노이징 단계에 영향을 미쳐, 사실과 다른 내용이 '고착화 (crystallization)'되는 문제가 발생합니다.
기존 방법의 한계:
- AR 모델 기반 탐지: AR 모델용 할루시네이션 탐지 도구 (퍼플렉시티 임계값, 외부 분류기 등) 는 DLM 의 양방향 디노이징 특성과 호환되지 않습니다.
- 수동 분류기 의존: 기존 DLM 연구 (TraceDet, DynHD 등) 는 할루시네이션을 탐지하기 위해 라벨이 있는 데이터로 훈련된 분류기를 사용하지만, 이는 도메인 전이성이 낮고 생성 과정 자체를 수정 (교정) 하지 못합니다.
- 본질적 신호 미활용: DLM 은 생성 과정 중 불확실성을 내재적으로 보유하고 있음에도 불구하고, 이를 교정 메커니즘으로 활용하지 못했습니다.

2. 방법론 (Methodology)

논문은 **OSCAR (Orchestrated Self-verification and Cross-path Refinement)**이라는 훈련 불필요 (training-free) 인 추론 시점 프레임워크를 제안합니다. 핵심 아이디어는 "여러 개의 무작위 노출 순서 (reveal order) 를 가진 병렬 디노이징 체인이 특정 토큰 위치에서 불일치할 때, 해당 위치는 사실적 불확실성이 존재한다"는 관찰에 기반합니다.

A. 핵심 구성 요소

교차 체인 엔트로피 (Cross-Chain Entropy, $H_{\times,i}$ ):
- $N$ 개의 병렬 디노이징 체인을 실행하며, 각 체인은 무작위로 노출 순서 ( $\pi$ ) 를 가집니다.
- 각 토큰 위치 $i$ 에서 $N$ 개 체인의 최종 출력 분포를 기반으로 섀넌 엔트로피를 계산합니다.
- 엔트로피가 높은 위치는 노출 순서에 따라 출력이 달라지는 '불확실한 위치 (commitment-uncertain)'로 간주됩니다. 이는 외부 분류기 없이 모델 고유의 신호로 불확실성을 측정합니다.
할루시네이션 국소화 (Commitment Uncertainty Localization):
- 계산된 엔트로피 분포에서 상위 $1-\alpha$ 분위수 (예: 상위 20%) 를 임계값으로 설정하여 불확실한 토큰 구간 (span) 을 식별합니다.
- 이를 위해 CDH (Cross-chain Divergence-at-Hallucination) 지표를 도입하여 국소화 방법의 정확도를 평가합니다.
표적 재마스킹 및 재디노이징 (Targeted Remasking & Re-denoising):
- 식별된 불확실한 구간을 재마스킹하고, 검색된 증거 (retrieved evidence) 와 주변 문맥을 조건으로 하여 해당 구간만 다시 디노이징합니다.
- 교정 전략: 첫 번째 단계는 학습된 신뢰도 기반 순서로 가장 확신 있는 토큰을 고정하고, 나머지 단계는 무작위 순서를 사용하여 원래 오류가 재발생하지 않도록 합니다.

B. 파이프라인 단계

다양한 병렬 디코딩: $N$ 개의 무작위 순서로 병렬 체인 실행.
국소화 및 구간 집계: 교차 엔트로피 계산 및 임계값 적용으로 불확실 구간 식별.
표적 교정: 검색된 증거를 활용하여 불확실 구간만 재디노이징.

3. 주요 기여 (Key Contributions)

DLM 고유의 불확실성 신호 발견: AR 모델에는 존재하지 않는, 병렬 디노이징 경로를 기반으로 한 교차 체인 엔트로피를 통해 사실적 불확실성을 직접 측정할 수 있음을 증명했습니다.
할루시네이션 국소화 작업 공식화: 훈련 데이터 없이 수행 가능한 '할루시네이션 국소화' 작업을 정의하고, 이를 평가하기 위한 CDH 지표를 제안했습니다.
OSCAR 프레임워크 개발: DLM 을 위한 최초의 추론 시점 할루시네이션 탐지 및 교정 프레임워크를 구현했습니다. 이는 외부 분류기 없이 모델 자체의 신호를 활용하여 할루시네이션을 수정합니다.
할루시네이션 결정화 (Crystallization) 분석: 디노이징 과정에서 할루시네이션이 언제 형성되는지 분석하여, 작업 유형 (사실적 QA vs 요약) 에 따라 불확실성 신호가 나타나는 시기가 다르다는 것을 발견했습니다.

4. 실험 결과 (Results)

모델 및 데이터셋: LLaDA-8B, Dream-7B 모델을 사용하여 TriviaQA, HotpotQA, RAGTruth, CommonsenseQA 에서 평가했습니다.
할루시네이션 탐지 성능:
- LLM-as-Judge 평가 기준, OSCAR 은 LLaDA-8B 에서 평균 86.5% AUROC를 기록하여, 가장 강력한 훈련된 탐지기 (DynHD, 84.2%) 보다 +2.3%p 더 높은 성능을 보였습니다.
- 이는 외부 라벨 없이 모델 내재 신호만으로 더 효과적인 탐지가 가능함을 의미합니다.
생성 품질 및 교정 효과:
- 교정 후 QA 작업의 F1 점수가 평균 +8.3%p 향상되었습니다 (TriviaQA 에서 +10.7%p).
- RAGTruth 데이터셋에서 할루시네이션된 스킨 (span) 이 41.1% 감소했습니다.
- CommonsenseQA(단일 토큰 정답) 에서는 체인들이 일치하여 ( $H_{\times} \approx 0$ ) 개입이 일어나지 않았으며, 이는 OSCAR 이 불필요한 수정을 하지 않는 선택적 (selective) 특성을 가짐을 보여줍니다.
효율성:
- $N=8$ 개의 병렬 체인을 사용하더라도 배치 추론을 통해 약 1.3 배의 시간 오버헤드만 발생시킵니다.
- 성능과 효율성 간의 파레토 최적 (Pareto-optimal) 지점을 달성했습니다.

5. 의의 및 결론 (Significance)

DLM 의 고유한 이점 활용: AR 모델은 토큰이 결정되면 분포가 축소되지만, DLM 은 디노이징 전체 과정에서 확률 분포를 유지합니다. OSCAR 은 이 구조적 차이를 활용하여, AR 모델에서는 불가능한 '병렬 경로 기반의 불확실성 측정'과 '실시간 교정'을 가능하게 했습니다.
훈련 불필요 (Training-free): 별도의 할루시네이션 라벨이나 분류기 훈련 없이 추론 시점에 즉시 적용 가능하여, 다양한 도메인과 모델에 유연하게 적용할 수 있습니다.
미래 연구 방향: 초기 디노이징 단계에서 불확실성 신호가 가장 강하게 나타난다는 발견은 '조기 종료 (early-exit)' 전략을 통한 비용 절감을 가능하게 하며, DLM 의 잠재력을 활용한 더 정교한 추론 제어 기법의 토대가 됩니다.

요약하자면, OSCAR는 확산 언어 모델의 병렬 디노이징 특성을 활용하여 할루시네이션을 탐지하고, 이를 모델 고유의 불확실성 신호를 기반으로 실시간으로 교정하는 혁신적인 프레임워크입니다. 이는 외부 의존성 없이 모델의 내재적 능력을 극대화하여 생성의 사실성을 획기적으로 개선합니다.