연구진들은 인공지능이 거짓된 사실을 말할 때, 그 옆에 **가짜 출처 (인용구)**를 붙여주면 어떻게 반응하는지 궁금해했습니다.
비유: 친구가 "사과가 하늘에서 떨어진다"고 거짓말을 한다고 칩시다. 이때 친구가 **"뉴턴의 일기장에 따르면..."**이라고 거짓된 출처를 덧붙인다면요?
대부분의 사람들은 출처가 있으니 믿을 가능성이 높아집니다.
연구진은 인공지능에게도 똑같은 실험을 했습니다. "사과가 하늘에서 떨어진다"는 거짓말에 "하버드 의대 연구 결과에 따르면..." 같은 가짜 인용구를 붙여주었죠.
🧪 2. 실험 도구: 'FalseCite'라는 거대한 시험지
연구진들은 FalseCite라는 새로운 데이터셋을 만들었습니다.
만드는 법: 인터넷에 떠도는 8 만 2 천 개의 거짓말 (사실과 다른 주장) 을 모았습니다.
실험 방식: 이 거짓말들을 두 가지 버전으로 만들었습니다.
그냥 거짓말만 한 버전.
거짓말에 가짜 인용구를 붙인 버전.
참고: 거짓말의 종류도 다양했습니다. "방탄소년단이 1998 년에 데뷔했다" 같은 연예계 소문부터 "화석 연료는 흙과 동물로 만들어졌다" 같은 과학적 오개념까지 다양했습니다.
🤖 3. 실험 결과: 인공지능은 "가짜 출처"에 속아넘어갑니다
세 가지 인공지능 (GPT-4o-mini, Falcon-7B, Mistral-7B) 을 시험지에 풀어보냈습니다. 결과는 놀라웠습니다.
결과: 거짓말에 가짜 인용구가 붙어있을 때, 인공지능은 거짓말을 더 자주, 더 확신 있게 만들어냈습니다.
특이점:
작은 인공지능 (Falcon, Mistral): 가짜 출처가 붙으면 거의 100% 믿고 거짓말을 덧붙였습니다. 마치 "출처가 있으니 틀림없겠지"라고 생각하는 학생 같습니다.
큰 인공지능 (GPT-4o-mini): 원래는 거짓말을 잘 안 했지만, 가짜 출처가 붙으면 거짓말을 할 확률이 가장 크게 급증했습니다.
비유: 작은 인공지능은 "출처가 있네? 믿자"고 쉽게 넘어가는 반면, 큰 인공지능은 "출처가 있으니 더 그럴듯하게 꾸며서 말해줘야겠다"며 더 정교한 거짓말을 만들어냈습니다.
🔍 4. 내부 분석: 인공지능의 뇌 속을 들여다보다
연구진은 인공지능이 거짓말을 할 때, 그 **뇌 속 (은닉 상태)**에서 무슨 일이 일어나는지 분석했습니다.
방법: 인공지능이 단어를 하나씩 만들어낼 때, 그 순간의 '생각의 흐름 (히든 상태 벡터)'을 기록했습니다.
발견: 거짓말을 할 때든, 사실을 말할 때든, 인공지능의 생각 흐름은 **특이한 '뿔 (Horn) 모양'**을 그리며 움직였습니다.
의미: 마치 자동차가 길을 갈 때 항상 비슷한 궤적을 그리듯, 인공지능의 뇌도 거짓말을 할 때 특정한 패턴을 보인다는 것을 발견한 것입니다. 이 패턴을 분석하면 나중에 인공지능이 거짓말을 하려는지 미리 감지할 수 있을지도 모릅니다.
🛑 5. 한계점: "진짜 전문가"가 부족했습니다
이 연구에는 약간의 아쉬움이 있습니다.
문제: 가짜 인용구가 진짜인지 확인하려면 인터넷 검색이나 전문 지식이 필요합니다. 하지만 연구진이 쓴 인공지능 (GPT-4.1) 은 인터넷에 접속할 수 없어, "출처가 그럴듯해 보이니까"라고 판단할 수밖에 없었습니다.
해결: 시간이 부족해 인간 전문가 대신 인공지능을 '심판'으로 세웠는데, 이는 완벽하지는 않지만 나름의 결과를 낸 방법입니다.
💡 결론: 왜 이 연구가 중요할까요?
이 연구는 **"인공지능이 거짓된 출처에 얼마나 쉽게 속아넘어가는지"**를 처음 체계적으로 증명했습니다.
의미: 의료나 법률 같은 중요한 분야에서 인공지능이 가짜 논문이나 가짜 뉴스를 인용하며 엉뚱한 조언을 할 수 있다는 경고를 줍니다.
미래: 이제 우리는 인공지능이 "거짓말을 하려는 뇌의 신호"를 포착할 수 있게 되었습니다. 앞으로는 인공지능이 거짓말을 하기 전에 그 '뿔 모양'의 신호를 감지해서 막아내는 기술을 개발할 수 있을 것입니다.
한 줄 요약:
"인공지능도 가짜 출처를 붙인 거짓말에 속아넘어가며 더 그럴듯한 거짓말을 만들어낸다는 것을 증명했고, 그 뇌 속의 패턴을 찾아냈습니다."
1. 문제 정의 (Problem)
대형 언어 모델 (LLM) 은 의료, 법률 등 민감한 분야에서 사실과 다른 정보 (환각, Hallucination) 를 생성하는 심각한 문제를 안고 있습니다. 기존 벤치마크 (TruthfulQA, HaluEval 등) 는 주로 응답의 사실적 정확성 자체에 초점을 맞추고 있으나, 허위 인용 (Fabricated Citations) 이나 오해의 소지가 있는 참고 문헌이 모델의 환각을 어떻게 유발하고 증폭시키는지에 대한 연구는 부족했습니다. 특히 모델이 잘못된 인용을 신뢰하여 더 확신에 찬 거짓 주장을 생성하는 메커니즘을 규명할 필요가 있었습니다.
2. 방법론 (Methodology)
A. 데이터셋 구축: FalseCite
연구진은 허위 인용에 의한 환각을 체계적으로 평가하기 위해 FalseCite라는 새로운 커레이트 (curated) 데이터셋을 개발했습니다.
구성: 총 82,000 개의 허위 주장 (False Claims) 으로 구성되며, FEVER(일반적 사실) 와 SciQ(과학적 사실) 코퍼스를 기반으로 합니다.
데이터 생성 전략:
명제 생성: FEVER 의 거짓 레이블 데이터와 SciQ 의 오답을 결합하여 사실처럼 보이지만 틀린 문장을 생성했습니다.
인용 생성: 소스 이름과 인용 템플릿을 조합하여 다양한 형태의 가짜 인용을 생성했습니다.
페어링 전략: 두 가지 방식으로 명제와 인용을 짝지었습니다.
무작위 페어링 (Random): 의미적 연관성 없이 무작위로 결합 (기저선 역할).
의미적 매칭 (Semantic): 임베딩 공간에서 코사인 유사도가 가장 높은 인용과 명제를 결합 (더 현실적이고 설득력 있는 조건).
B. 실험 설정
모델: GPT-4o-mini, Falcon-7B, Mistral-7B 세 가지 모델을 테스트했습니다.
평가자 (Expert Model): GPT-4.1 을 사용하여 응답이 환각인지 여부를 라벨링했습니다. (인터넷 접속 불가로 인해 인용의 진위를 직접 확인하지는 못했으나, 주장 자체의 사실성을 기반으로 판단하도록 지시했습니다.)
C. 내부 상태 분석 및 클러스터링
모델의 환각 발생 시 내부 작동 원리를 파악하기 위해 **은닉 상태 (Hidden State)**와 어텐션 (Attention) 벡터를 분석했습니다.
활성화 캡처 (Activation Capture):
각 응답에서 가장 영향력 있는 5 개의 레이어를 식별하기 위해 스피어만 상관관계 (Spearman correlation) 를 사용했습니다.
토큰 생성 시의 어텐션 벡터를 추출하여 평균, 최대값, 엔트로피로 통계화했습니다.
클러스터링:
PCA 를 통해 차원을 축소 (100 차원) 한 후 K-means 클러스터링을 수행했습니다.
각 클러스터 내의 환각 비율을 기반으로 최적의 클러스터 수 (k) 를 선정했습니다.
3. 주요 결과 (Key Results)
A. 벤치마크 결과 (FalseCite)
허위 인용의 영향: 모든 모델에서 허위 인용이 추가될 경우 환각 발생률이 유의미하게 증가했습니다.
무작위 인용: 가장 큰 환각 증가 폭을 보였습니다.
의미적 인용: 무작위보다 증가 폭은 작았으나 여전히 뚜렷한 증가를 보였습니다.
모델별 차이:
Falcon-7B, Mistral-7B (소규모 모델): 무작위 인용에 비해 의미적 인용에서 상대적으로 낮은 증가율을 보였으나, 전반적으로 인용 유무에 매우 민감하게 반응했습니다.
GPT-4o-mini (대규모 모델): 기저선 (인용 없음) 환각률은 가장 낮았으나, 인용이 추가되었을 때의 증가 폭 (Delta) 이 가장 컸습니다. 특히 무작위 인용 조건에서 39.65%p, 의미적 인용에서 37.03%p의 급격한 증가를 보였습니다. 이는 더 견고한 모델일수록 설득력 있는 (의미적) 인용에 의해 더 쉽게 속아 넘어갈 수 있음을 시사합니다.
B. 내부 상태 분석 결과
호른 모양 (Horn-like Shape): 환각 여부와 관계없이 모델의 은닉 상태 벡터가 레이어를 거치며 **뚜렷한 '호른 (뿔) 모양'**을 그리며 진화하는 패턴을 발견했습니다.
클러스터링: 클러스터링 자체는 명확한 패턴을 보이지 않았으나, 상위 두 클러스터에서 상대적으로 높은 환각 비율이 관찰되었습니다. 이는 환각 신호가 모델의 특정 레이어나 상태 공간에서 어떻게 발현되는지에 대한 시각적 통찰을 제공합니다.
4. 주요 기여 (Key Contributions)
FalseCite 데이터셋 개발: 허위 인용이 LLM 의 환각에 미치는 영향을 체계적으로 평가할 수 있는 82k 개의 대규모 벤치마크 데이터셋을 공개했습니다.
인용의 증폭 효과 규명: 허위 인용이 모델로 하여금 거짓 주장을 더 확신 있게, 그리고 추가적인 거짓 내용을 생성하게 만드는 '증폭' 효과를 정량적으로 입증했습니다.
내부 메커니즘 시각화: 환각 발생 시 모델의 내부 은닉 상태 벡터가 형성하는 독특한 기하학적 구조 (호른 모양) 를 발견하고, 이를 클러스터링을 통해 시각화했습니다.
모델 크기별 민감도 분석: 소규모 모델은 인용 자체에 취약한 반면, 대규모 모델은 의미적으로 일관된 허위 인용에 더 취약할 수 있음을 보여주었습니다.
5. 의의 및 한계 (Significance & Limitations)
의의: 이 연구는 LLM 의 환각 문제를 단순한 사실 오류를 넘어, 외부 참조 (인용) 와의 상호작용 관점에서 접근했습니다. 향후 LLM 의 신뢰성 평가, 환각 완화 기술 개발, 그리고 의료/법률 등 고위험 분야에서의 모델 배포 전 안전성 검증에 중요한 기초 자료를 제공합니다.
한계:
평가자 모델의 한계: GPT-4.1 을 '전문가 모델'로 사용했으나, 인터넷 접속이 없어 인용의 진위를 직접 확인할 수 없었습니다. 이는 인용이 사실인지 여부가 아닌, 주장의 논리적 일관성만으로 판단하게 만들 수 있습니다.
인간 주석 부재: 시간 및 리소스 제약으로 인해 인간 어노테이터나 RAG(Retrieval-Augmented Generation) 기반 검증 대신 LLM 기반 라벨링에 의존했습니다.
결론
이 논문은 FalseCite를 통해 허위 인용이 LLM 의 환각을 어떻게 유발하는지 실증적으로 증명하고, 모델의 내부 상태 분석을 통해 환각의 물리적/수학적 징후를 시각화했습니다. 이는 향후 LLM 의 사실성 향상 및 신뢰할 수 있는 AI 시스템 구축을 위한 핵심적인 연구 방향을 제시합니다.