생각해 보세요. 세계적인 요리사 (LLM) 가 있습니다. 이 요리사는 수천 권의 요리책 (학습 데이터) 을 외워서 훌륭한 요리를 해냅니다.
연구자들은 이 요리사에게 **"오늘은 이 레시피 (라벨 정의) 를 꼭 따라 해줘"**라고 새로운 지시를 줍니다.
질문: 요리사는 정말로 그 새로운 레시피를 따라 할까요? 아니면 "아니, 내 기억에 따르면 이 재료는 저렇게 쓰는 게 맞지"라고 자기 옛날 지식을 고집할까요?
🔍 연구가 밝혀낸 4 가지 놀라운 사실
1. "요리사도 레시피를 따라 하지만, 상황에 따라 달라요"
일상적인 요리 (일반 언어 과제): 요리사가 이미 '김치찌개'를 어떻게 만드는지 완벽하게 알고 있다면, 연구자가 "김치찌개는 설탕을 넣는 거야"라고 잘못된 레시피를 줘도, 요리사는 **"아니, 김치찌개는 소금으로 끓이는 거야"**라고 자기 지식을 따릅니다. (이때는 레시피를 무시하고 자기 머릿속 지식을 믿습니다.)
전문적인 요리 (특수 분야): 하지만 요리사가 '정신건강 상담'이나 '혐오 표현 감지' 같은 아주 전문적이고 낯선 요리를 하라고 하면, 그는 자기 기억이 부족합니다. 이때 연구자가 **"이건 이렇게 해"**라고 명확한 레시피를 주면, 요리사는 그 레시피를 정말 열심히 따라 합니다.
2. "잘못된 레시피를 주면, 요리사가 혼란스러워해요"
연구자들은 요리사에게 고의로 엉뚱한 레시피를 주기도 했습니다.
예: "엔트 (Entailment) 는 '서로 반대되는 뜻'이야"라고 거짓 정의를 줬습니다.
결과는? 요리사는 그 거짓 정의를 믿고 엉뚱한 답을 내놓았습니다.
흥미로운 점: 어떤 모델 (GPT-4 같은 큰 모델) 은 "이 레시피가 내 지식과 너무 달라서 믿을 수 없어"라고 아예 요리를 거절하기도 했습니다. 반면, 작은 모델들은 레시피가 틀려도 무조건 따라 하다가 엉뚱한 요리를 만들어냈습니다.
3. "레시피를 상황에 맞게 고쳐주면 더 잘해요"
단순히 책에서 가져온 고정된 레시피 (전문가 작성) 를 주는 것보다, 요리사가 지금 당장 손에 든 재료 (입력 데이터) 에 맞춰서 레시피를 다시 써주는 것이 더 효과적이었습니다.
마치 "오늘은 비가 오니까 김치찌개에 국물을 좀 더 진하게 해"라고 구체적으로 알려주는 것과 같습니다.
특히 작은 모델들은 이런 맞춤형 레시피를 주면 성능이 폭발적으로 좋아졌습니다.
4. "요리 설명은 잘하지만, 실제 요리는 엉망일 수도 있어요"
가장 아이러니한 발견입니다.
요리사에게 레시피를 주니, **"왜 이렇게 요리했는지 설명하는 말 (설명 생성)"**은 아주 훌륭하고 논리적이게 나왔습니다.
하지만 막상 **요리 결과물 (정답 분류)**은 여전히 엉망인 경우가 많았습니다.
비유: "이 요리는 이렇게 해야 맛있어요"라고 아주 잘 설명해 주지만, 막상 그 요리를 해보면 맛이 없는 상황입니다. 즉, **이해하는 능력 (설명)**과 **실제 행동하는 능력 (판단)**이 따로 놀고 있다는 뜻입니다.
💡 우리가 배울 수 있는 교훈
이 연구는 AI 를 쓸 때 다음과 같이 해야 한다는 조언을 줍니다.
전문 분야일수록 설명이 중요해요: AI 에게 일반 대화만 시킬 때는 자기 머릿속 지식을 믿어도 되지만, 정신건강, 법률, 혐오 표현 같은 전문 분야에서는 AI 에게 **매우 명확하고 구체적인 정의 (레시피)**를 줘야 합니다.
작은 AI 는 더 많은 도움이 필요해요: 큰 AI(GPT-4 등) 는 자기 지식이 풍부해서 레시피가 조금 틀려도 알아서 고치거나 거절하지만, 작은 AI(Phi-3 등) 는 레시피가 틀리면 그대로 따라 하므로 정확한 레시피를 주는 게 필수입니다.
설명과 정답은 다를 수 있어요: AI 가 "이렇게 판단했습니다"라고 아주 그럴싸하게 설명을 해준다고 해서, 그 판단이 100% 맞다고 믿으면 안 됩니다. 설명 (Reasoning) 이 잘 나왔다고 해서 정답 (Classification) 이 잘 나온 건 아닙니다.
🎯 한 줄 요약
"인공지능은 평소에는 자기 머릿속 지식을 믿지만, 전문적인 일을 시킬 때는 우리가 준 '명확한 레시피'를 정말로 따릅니다. 다만, 레시피를 잘못 주면 엉뚱한 요리를 해치거나, 설명은 잘하지만 정작 요리는 실패할 수도 있으니 주의해야 합니다."
1. 연구 배경 및 문제 정의 (Problem)
대형 언어 모델 (LLM) 이 외부에서 제공된 레이블 정의 (Label Definitions) 를 실제로 수용하여 의사결정에 반영하는지, 아니면 단순히 사전 학습된 내부 지식 (Parametric Knowledge) 에 의존하는지가 명확하지 않습니다.
핵심 질문:
LLM 은 외부 정의와 내부 지식 사이의 충돌 (Knowledge Conflict) 상황에서 어떻게 행동하는가?
LLM 은 외부 정의를 일관되게 준수하는가, 아니면 내부 표현을 우선시하는가?
배경: 레이블 정의는 모호한 라벨을 명확히 하고 모델의 성능을 향상시키는 단서로 간주되어 왔으나, 모델이 이를 진정으로 처리하여 의사결정에 통합하는지 여부는 불확실합니다. 특히 정의가 내부 지식과 상충될 때 모델의 반응이 예측 불가능할 수 있습니다.
2. 방법론 (Methodology)
연구팀은 LLM 의 정의 수용성 (Receptivity) 을 평가하기 위해 통제된 실험을 설계했습니다.
가. 실험 데이터셋
일반 자연어 추론 (NLI) 과 도메인 특화 (정신 건강, 혐오 표현, 사실 확인) 작업을 포함하는 4 가지 데이터셋을 사용했습니다.
e-SNLI: 일반 자연어 추론 (Entailment, Neutral, Contradiction)
WELLXPLAIN: 정신 건강 분류 (신체, 지적/직업적, 사회적, 영적/정서적)
HATEXPLAIN: 혐오 표현 탐지 (Hate speech, Offensive, Normal)
WICE: 사실 확인 (Supporting sentence indices 추출)
나. 모델
다양한 아키텍처와 크기를 가진 4 가지 SOTA 모델 사용:
GPT-4, LLaMA-3, Phi-3, Mistral-7B
다. 실험 전략
두 가지 주요 시나리오를 통해 평가했습니다.
지식 충돌 (Knowledge Conflict) 평가:
정의 정확도 변형: 정의가 '정확함', '약간 틀림', '완전히 틀림'인 경우로 구분하여 모델의 민감도를 측정.
정의 순열 (Permutation): 레이블과 정의의 매핑을 무작위로 섞음 (예: 'Entailment' 정의에 'Contradiction' 설명 부여). 올바른 매핑 (Aligned) 과 잘못된 매핑 (Misaligned) 간의 성능 차이를 Matthews Correlation Coefficient (MCC) 로 측정.
정의 통합 (Definition Integration) 평가:
Vanilla (Zero-shot): 정의 없이 내부 지식만 의존.
Fixed Definition: 전문가가 작성한 고정된 정의를 프롬프트에 포함.
Adjusted Definition: K-NN 을 통해 입력 데이터에 맞춰 동적으로 생성된 정의 사용.
Fixed + Few-shot: 고정 정의와 예시 (Few-shot) 를 결합.
3. 주요 기여 (Key Contributions)
평가 전략 개발: 외부 지식 주입의 한 형태인 레이블 정의가 LLM 의 성능과 설명 가능성 (Explainability) 에 미치는 영향을 평가하는 체계적인 방법론 제시.
탐사 전략 설계: 정의의 품질과 정렬 (Alignment) 에 대한 LLM 의 민감도를 평가하기 위해 '정의 순열 (Permutation)'과 '정의 교란 (Perturbation)' 전략을 도입.
다도메인 실험: 4 가지 다양한 벤치마크를 통해 일반 작업과 도메인 특화 작업에서의 모델 행동을 포괄적으로 분석.
새로운 통찰 발견: 모델이 정의를 어떻게 통합하는지에 대한 체계적인 차이 (작업 도메인과 정의 출처에 따른 차이) 를 규명.
4. 주요 결과 및 분석 (Results & Analysis)
가. 정의 수용성과 지식 충돌
일반 작업 vs. 도메인 특화 작업:
일반 작업 (e-SNLI): 모델은 종종 내부 지식을 우선시합니다. 외부 정의가 내부 지식과 충돌할 때 성능이 오히려 저하되기도 했습니다 (특히 LLaMA-3, Mistral-7B).
도메인 특화 작업 (WELLXPLAIN, HATEXPLAIN): 모델은 외부 정의에 훨씬 더 민감하게 반응합니다. 정확한 정의가 제공될 때 성능이 크게 향상되었으며, 특히 Mistral-7B 와 같은 소형 모델은 정의의 정확도에 따라 성능이 극적으로 변화했습니다.
정의 품질의 영향:
정의가 잘못되거나 약간 틀린 경우, 모델은 혼란을 겪거나 잘못된 예측을 합니다.
GPT-4 의 특이한 행동: 정의가 모순될 때 예측을 거부하는 (Abstention) 메타인지적 반응을 보였습니다. 이는 다른 모델에서는 관찰되지 않은 안전 정렬 (Safety Alignment) 의 결과로 해석됩니다.
WICE (사실 확인): 정의의 정확도 변화에 거의 반응하지 않았습니다. 이는 이 작업이 의미적 정의보다는 사실적 패턴 매칭에 더 의존하기 때문입니다.
나. 정의 통합 전략의 효과
일반 NLI 작업: 외부 정의를 추가하는 것이 오히려 성능을 저하시켰습니다 (내부 표현과의 간섭). Few-shot 예시를 추가하면 성능이 더욱 악화되었습니다.
도메인 특화 작업: 외부 정의 (특히 Adjusted Definition) 가 성능을 크게 향상시켰습니다.
Mistral-7B: WELLXPLAIN 에서 정의 사용 시 110% 향상, HATEXPLAIN 에서 10 배 이상의 성능 증가를 보임.
Phi-3: 고정 정의 + Few-shot 조합에서 WELLXPLAIN 작업에서 다른 모든 모델보다 높은 성능 (MCC 0.62) 을 기록함.
설명 (Explanation) 과 분류 (Classification) 의 분리:
정의는 모델이 개념 관계를 설명하는 능력 (설명 품질, ROUGE 점수) 을 크게 향상시켰으나, 이것이 반드시 분류 정확도 향상으로 이어지지는 않았습니다. 이는 LLM 의 '지식 (Competence)'과 '수행 (Performance)' 사이의 간극을 보여줍니다.
5. 의의 및 결론 (Significance & Conclusion)
모델 아키텍처와 도메인의 상호작용: 모델의 크기가 클수록 (GPT-4) 내부 지식에 더 의존하고 모순된 정의가 있을 때 신중하게 반응하는 반면, 소형 모델 (Phi-3, Mistral-7B) 은 도메인 특화 작업에서 외부 정의에 더 크게 의존하여 성능 향상을 얻는다는 사실이 확인되었습니다.
프롬프트 엔지니어링의 중요성: 일반 작업에서는 정의가 방해가 될 수 있지만, 정신 건강이나 혐오 표현 탐지 같은 전문 분야에서는 정밀하고 문맥에 맞는 정의 (Context-specific definitions) 를 제공하는 것이 필수적입니다.
실무적 시사점:
에지 디바이스: 소형 모델은 전문 도메인에서 잘 정의된 외부 지식을 통해 경량화된 성능 향상을 얻을 수 있습니다.
클라우드/고위험 영역: 대형 모델은 내부 지식을 기반으로 하되, 정의가 모순될 때 출력을 거부하는 등 안전 장치를 가질 수 있어 고위험 애플리케이션에 적합합니다.
신뢰성: 분류 정확도가 향상되지 않더라도 정의는 모델의 설명 품질을 높여 사용자의 신뢰와 투명성을 증진시킵니다.
이 연구는 LLM 이 외부 지식을 어떻게 처리하고 통합하는지에 대한 깊은 이해를 제공하며, 특히 전문 분야에서의 LLM 배포 시 정의의 설계와 통합 전략이 얼마나 중요한지를 강조합니다.