💬 NLP

Latent Fact-Checking: Detecting Misinformation through Activation Engineering

이 논문은 미세 조정이나 외부 증거 검색 없이도 다양한 모델 크기에서 경쟁력 있는 성능을 달성하며, 대조적 활성화 엔지니어링(contrastive activation engineering)으로부터 도출된 잠재적 "오정보 방향(misinformation direction)" 위로 입력의 마지막 토큰 활성화를 투영함으로써 허위 사실을 식별하는 확장 가능한 오정보 탐지 프레임워크인 LaFaCt를 소개한다.

원저자: Pedro Barcelos, Otávio Parraga, Marcelo M. Mussi, Lucas M. Fraga, Lucas S. Kupssinskü, Rodrigo C. Barros

게시일 2026-08-11

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Pedro Barcelos, Otávio Parraga, Marcelo M. Mussi, Lucas M. Fraga, Lucas S. Kupssinskü, Rodrigo C. Barros

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

AI 두뇌의 비밀 언어

당신에게 이야기를 쓰고, 질문에 답하며, 인간처럼 대화할 수 있는 거대하고 똑똑한 로봇이 있다고 상상해 보세요. 과학자들은 이것을 "대규모 언어 모델(Large Language Models)"이라고 부릅니다. 오랫동안 사람들은 이 로봇이 진실을 말하는지 아는 유일한 방법은 로봇이 겉으로 내뱉는 말을 듣는 것이라고 생각했습니다. 하지만 여기 함정이 있습니다. 로봇은 때때로 무언가를 지어내고 있을 때조차 매우 자신감 있고 매끄럽게 말할 수 있다는 점입니다. 이는 마치 마술사가 기술을 사용하여 토끼가 모자에서 나오는 것처럼 보이게 만들어, 당신이 그 기술을 믿게 만드는 것과 같습니다.

로봇이 거짓말을 하고 있는지 알아내기 위해, 연구자들은 로봇의 사실을 책이나 인터넷 라이브러리와 대조하여 확인하는 시스템을 구축하려고 노력해 왔습니다. 하지만 컴퓨터 과학 세계에는 또 다른 아이디어가 떠돌고 있습니다. 만약 로봇이 직접 말하지 않더라도, 스스로 거짓말을 하고 있다는 것을 '알고' 있다면 어떨까요? 인간의 뇌를 생각해 보세요. 당신이 거짓말을 할 때, 목소리는 차분하게 유지될지라도 심장이 뛰거나 손에 땀이 날 수 있습니다. 과학자들은 AI 모델에도 이와 유사한 "내부 신호"가 있다고 믿습니다. 그들은 로봇의 디지털 두뇌 안에, 로봇이 최종 답변을 타이핑하기 훨씬 전부터 그 문장이 참인지 거짓인지를 보여주는 숨겨진 패턴—마치 비밀 코드와 같은 것—이 존재한다고 생각합니다. 이 논문은 로봇에게 스스로 설명하도록 요구하거나 도서관을 뒤져볼 필요 없이, 그 비밀 신호를 읽어내는 법을 배우는 것에 관한 것입니다.

거짓말쟁이를 잡기 위해 로봇의 마음을 읽다

이 연구에서 브라질의 연구진은 로봇의 말에 귀를 기울이는 대신, 로봇의 "뇌파"를 관찰하기로 했습니다. 그들은 **활성화 엔지니어링(activation engineering)**이라는 영리한 기술을 사용했습니다. 로봇의 뇌를 수천 개의 전등 스위치로 가득 찬 거대한 방이라고 상상해 보세요. 로봇이 무언가를 생각할 때, 특정 빛의 패턴이 켜집니다. 연구진은 이 빛의 방 안에 거짓을 향하는 특정한 "방향"이 있고, 진실을 향하는 또 다른 방향이 있다는 것을 발견했습니다. 이는 마치 로봇이 남쪽을 향하고 있는 척하더라도, 내부의 비밀 나침반은 항상 북쪽을 가리키는 것과 같습니다.

연구팀은 로봇에게 새로운 것을 가르치거나 뇌를 변경(이를 "미세 조정(fine-tuning)"이라 합니다)할 필요가 없었습니다. 대신, 그들은 **대조적 활성화 추가(Contrastive Activation Addition, CAA)**라는 방법을 사용했습니다. 그 방법은 다음과 같습니다. 먼저 하나의 참인 문장과 하나의 거짓인 문장 쌍을 가져온 뒤, 로봇에게 참인 문장은 거짓인 것처럼, 거짓인 문장은 참인 것처럼 행동하도록 요청했습니다. 로봇이 이 두 가지 반대되는 시나리오에 대해 만들어낸 "빛의 패턴(활성화)"을 비교함으로써, 연구진은 그 둘 사이의 정확한 차이를 계산해 냈습니다. 이 차이가 바로 그들의 "거짓말 나침반(Lie Compass)"이 되었습니다.

이 나침반을 확보한 후, 연구진은 실제 주장들을 대상으로 테스트를 진행했습니다. 그들은 로봇에게 질문에 답하라고 요구하지 않았습니다. 대신, 어떤 주장을 로봇에게 입력한 뒤 로봇이 만들어낸 최종 "빛의 패턴"을 관찰하고, 이를 자신들의 거짓말 나침반에 투영했습니다. 만약 패턴이 "거짓" 방향을 강하게 가리킨다면, 시스템은 이를 허위 정보로 분류했습니다. 연구진은 이 실험을 2억 7천만 개의 부품을 가진 작은 모델부터 120억 개의 부품을 가진 거대한 모델까지, 11개의 서로 다른 로봇 뇌를 대상으로 세 가지의 실제 세계 팩트 체크 과제를 사용하여 테스트했습니다.

무엇을 발견했는가 (그리고 발견하지 못한 것)

결과는 놀라울 정도로 명확했습니다. 세 가지 과제 중 두 가지(LIAR 및 FACTors)에서 연구진의 "거짓말 나침반" 방식은 로봇에게 단순히 추측하게 하거나 몇 가지 예시를 주어 학습시키는 것보다 더 효과적이었습니다. 실제로 이 방법은 작고 약한 로봇들에게 특히 효과적이었습니다. 예를 들어, LIAR 데이터셋에서 평소 46%의 확률로 틀린 답을 내놓던 작은 로봇은 이 내부 신호를 사용함으로써 정답률이 73%까지 뛰어올랐습니다. 이는 마치 혼란스러워하는 작은 학생에게 주제를 완벽히 알지 못하더라도 정답을 찾아낼 수 있게 도와주는 비밀 참고서를 건네준 것과 같습니다.

연구진은 이것이 가능한 이유가 로봇의 뇌가 비록 말로 내뱉지는 못하더라도, 그 안에 실제로 진실을 담고 있기 때문이라고 설명합니다. "거짓말 나침반"은 그 숨겨진 진실 신호를 찾아내는 것입니다. 하지만 이 이야기가 모든 곳에서 완벽한 것은 아닙니다. 세 번째 과제(AVeriTeC)에서는 이 방법이 특히 큰 로봇들에게 잘 작동하지 않았습니다. 연구진은 이 데이터셋이 다르기 때문이라고 설명합니다. 이곳의 주장들은 인터넷에서 추가 정보를 먼저 찾아봐야만 참인지 거짓인지 증명할 수 있습니다. 이 방법은 주장 자체만을 살펴볼 뿐 외부 증거를 검색하지 않기 때문에 혼란을 겪는 것입니다. 이는 마치 수학 문제의 정답지나 풀이 과정을 확인하지 않고, 오직 문제 자체만 보고서 그 문제가 맞는지 판단하려는 것과 같습니다.

요약

이 논문은 우리가 사실을 확인하기 위해 항상 거대하고 비싼 시스템을 구축할 필요는 없다는 점을 시사합니다. 때로는 진실이 이미 로봇의 뇌 속에 숨어 있으며, 단지 발견되기를 기다리고 있을 뿐입니다. 로봇의 내부 신호를 읽는 것만으로도, 이전보다 더 빠르고 적은 컴퓨팅 자원을 사용하여 거짓말을 잡아낼 수 있습니다. 연구진은 이 "거짓말 나침반"이 다양한 유형과 크기의 로봇 뇌에서 작동한다는 것을 발견했으며, 이는 진실과 거짓을 구별하는 능력이 이러한 기계 내부에서 구조적이고 선형적인 경로임을 입증합니다.

하지만 연구진은 이것이 모든 상황에 적용되는 마법의 해결책은 아니라고 주의를 줍니다. 만약 어떤 거짓말을 폭로하기 위해 특정 뉴스 기사나 과학 논문을 확인해야 한다면, 이 방법만으로는 역할을 수행할 수 없습니다. 그러나 많은 상황, 특히 사실을 빠르게 확인해야 하거나 더 작고 저렴한 로봇을 사용해야 하는 상황에서 이 접근 방식은 강력한 새로운 도구를 제공합니다. 이는 로봇의 숨겨진 지식을 역이용하여 허위 정보에 맞서는 것으로, 때로는 거짓말쟁이를 잡는 가장 좋은 방법이 그들이 말하지 않는 것에 귀를 기울이는 것임을 증명합니다.

기술 요약: 활성화 엔지니어링을 통한 잠재적 사실 검증 (Latent Fact-Checking via Activation Engineering)

문제 정의

오정보(misinformation)의 확산은 확장 가능한 탐지 시스템을 필요로 한다. 대규모 언어 모델(LLM)은 유창함(fluency) 측면에서는 뛰어나지만, 종종 그럴듯하지만 사실과 다른 문장("모사된 거짓말", imitative falsehoods)을 생성한다. 전통적인 자동 사실 검증(AFC) 방식은 표면적인 언어적 특징, 미세 조정(fine-tuning), 또는 외부 증거 검색에 의존한다. 그러나 이러한 방법들은 한계에 직면해 있다: 미세 조정은 방대한 양의 레이블된 데이터가 필요하며 일반화 능력이 떨어지고, 검색 기반 시스템은 계산 비용이 많이 들며 증거의 품질에 민감하며, 프롬프팅 전략은 불안정성과 환각(hallucination) 문제를 겪는다.

나아가, 모델이 진실과 거짓을 구별하는 잠재적 지식을 보유하고 있음에도 불구하고 기본 출력에서는 이를 표현하지 못하는 "생성-구별 간극(generation-discrimination gap)"이 존재한다. 본 논문은 진실성이 단순히 생성된 텍스트의 속성이 아니라, 트랜스포머 모델의 잠재 표현 공간(latent representation space) 내에서 구조적이고 선형적으로 분리 가능한 개념이라고 상정하며, 모델의 가중치를 수정하지 않고도 탐지할 수 있는 대안적인 경로를 제시한다.

방법론

제안된 프레임워크인 **잠재적 사실 검증(Latent Fact-Checking, LaFaCt)**은 트랜스포머 모델의 잔차 스트림(residual stream)이 가진 기하학적 특성을 활용하여 오정보를 탐지하는 **활성화 엔지니어링(activation engineering)**을 사용한다. 이 접근 방식은 백본 모델의 미세 조정을 요구하지 않으며 외부 증거 검색도 필요로 하지 않는다.

1. 대조적 프롬프트 구성 (Contrastive Prompt Construction)

각 훈련 클레임(claim) $s_i$ 에 대해, 저자들은 모델의 완성을 특정 진위 극성(veracity polarities)에 고정하기 위해 구조화된 프롬프트 쌍을 구성한다:

$p^+_i$ : 답변을 "참(True)"으로 고정 (예: "Answer: (A)").
$p^-_i$ : 답변을 "거짓(False)"으로 고정 (예: "Answer: (B)").
문자(A/B)와 진릿값 사이의 매핑은 모델이 특정 토큰을 오정보와 연관 짓는 것을 방지하기 위해 무작위로 설정된다.

2. 거짓 방향 추정 (Falsehood Direction Estimation)

대조적 활성화 추가(Contrastive Activation Addition, CAA) 원칙에 따라, 이 방법은 참인 프롬프트와 거짓인 프롬프트에 의해 유도된 은닉 상태(hidden states)의 평균 차이를 계산한다. 레이어 $\ell$ 에 대하여, 거짓 방향 벡터 $v^{(\ell)}$ 은 다음과 같이 정의된다:
$v^{(\ell)} = \frac{1}{N} \sum_{i=1}^{N} h^{(\ell)+}_i - \frac{1}{N} \sum_{i=1}^{N} h^{(\ell)-}_i$
여기서 $h^{(\ell)\pm}_i$ 는 각각의 프롬프트에 대한 마지막 토큰(last-token) 활성화를 나타낸다. 이 벡터는 진실과 거짓을 분리하는 잔차 스트림 상의 축을 추정한다.

3. 벡터 투영 및 분류 (Vector Projection and Classification)

생성 과정을 유도하기 위해 이 벡터를 주입하는 CAA와 달리, 이 방법은 이를 분류를 위한 고정된 참조 축으로 사용한다:

투영(Projection): (A/B 템플릿이 없는) 순수 클레임의 마지막 토큰 활성화를 정규화된 방향 $\hat{v}^{(\ell)}$ 에 투영한다.
레이어 선택(Layer Selection): 모든 레이어 $\ell$ 에 대해 이 투영값들을 바탕으로 MLP 분류기를 학습시킨다. 검증 정확도(validation accuracy)를 기준으로 최적의 레이어 $\ell^*$ 를 선택한다.
최종 모델(Final Model): 방향은 전체 훈련 세트(훈련 + 검증)를 사용하여 재계산되며, 최종 MLP는 선택된 레이어 $\ell^*$ 에서의 투영된 활성화 값을 바탕으로 학습된다.

4. 추론 (Inference)

추론 시, 새로운 클레임이 동결된(frozen) 모델을 통과한다. 선택된 레이어 $\ell^*$ 에서의 마지막 토큰 활성화가 학습된 거짓 방향으로 투영된 후, MLP에 입력되어 진위를 예측한다.

주요 기여

사실 판단을 위한 스티어링 벡터(Steering Vectors): 저자들은 거짓 방향을 인코딩하는, 사실 검증 데이터셋으로부터 유도된 선형 스티어링 벡터의 존재를 조사하고 검증한다.
교차 데이터셋 전이 분석: 학습된 방향이 서로 다른 데이터셋(AVeriTeC, LIAR, FACTors) 간에 어떻게 전이되는지 분석하며, 증거 의존적인 데이터셋이 클레임 전용 데이터셋보다 덜 이식 가능한 방향을 생성함을 밝혀낸다.
레이어별 절제 연구(Layer-wise Ablation): 본 연구는 진위 판단에 가장 변별력이 높은 특정 트랜스포머 레이어를 식별하며, 최적의 탐지 레이어가 모델 아키텍처와 규모에 따라 달라짐을 입증한다.

실험 결과

이 방법은 AVeriTeC, LIAR, FACTors의 세 가지 벤치마크에서 270M에서 12B 파라미터에 이르는 11개의 모델(Gemma, Llama, Qwen 제품군)을 대상으로 평가되었다.

LIAR 및 FACTors 성능: 잠재적 접근 방식은 거의 모든 모델 구성에서 제로샷(zero-shot) 및 퓨샷(few-shot) 프롬프팅 베이스라인을 일관되게 능가했다.
- 소형 모델: 성능 향상은 소형 모델에서 가장 두드러졌다 (예: Gemma-3-1B는 LIAR에서 정확도가 0.52에서 0.75로 개선되었고, Llama-3.2-1B는 0.46에서 0.73으로 개선됨).
- 강건성: 이 방법은 명시적인 레이블 예시를 제공하는 퓨샷 프롬프팅보다도 우수한 성능을 보였으며, 이는 잠재적 신호가 표면적 생성보다 더 풍부함을 시사한다.
AVeriTeC 성능: 결과는 더 제한적이었으며, 대형 모델의 경우 베이스라인과 비슷하거나 약간 낮은 성능을 보였다.
- 원인 분석: 저자들은 이를 AVeriTeC의 증거 기반 레이블링 체계 때문이라고 설명한다. 이 데이터셋의 클레임은 외부 웹 증거와 다단계 추론(multi-hop reasoning)을 바탕로 레이블이 지정되어 있으며, 이는 클레임 텍스트만으로는 포착될 수 없다. 클레임의 내부 표현만을 사용하는 이 방법은 클레임을 반박하는 데 필요한 외부 사실에 접근할 수 없다.
스케일링 및 전이:
- 샘플 크기: 대조적 쌍( $N$ )의 수를 늘리는 것은 LIAR와 FACTors의 성능을 향提升시켰으나, AVeriTec에는 영향을 미치지 않았다. 이는 데이터셋의 이질성(주제 다양성 및 증거 의존성)이 단일한 글로벌 거짓 방향의 수렴을 방해함을 확인시켜 준다.
- 분포 외(OOD) 데이터: LIAR 또는 FACTors에서 학습된 방향은 서로에게 잘 일반화되었다. AVeriTeC에서 학습된 방향은 다른 데이터셋에 적용했을 때 상당한 성능 저하를 보였으며, 이는 증거 의존적 방향의 불안정성을 강화한다.

의의 및 주장

본 논문은 진실성이 사전 학습된 언어 모델의 잠재 공간 내에서 구조적이고 선형적으로 분리 가능한 개념이라는 증거를 제공한다고 주장한다. 이 연구의 의의는 다음과 같다:

실용적 보완성: 검색 기반 파이프라인에 보완적인 신호로 사용될 수 있는, 미세 조정이 필요 없는 경량화된 오정보 탐지 대안을 제공한다.
효율성: 이 접근 방식은 특히 **소형 언어 모델(SLM)**에 효과적이며, 모델의 제한된 용량을 보완하여 대규모 추론이 불가능한 환경에서도 실행 가능하게 만든다.
내부적 vs 외부적 진실: 결과는 LLM이 생성되는 내용보다 더 변별력 있는 진위 신호를 내부에 인코딩하고 있음을 뒷받려하며, 이를 통해 생성-구별 간극을 효과적으로 우회한다.

저자들은 자신의 방법이 증거 기반 검증을 대체하는 것이 아니라, 클레임 자체에 진위 신호가 내재되어 있는 경우를 위한 실용적인 도구라는 점을 인정하며 신중한 입장을 유지한다. 향-후 연구로는 증거 의존적 벤치마크인 AVeriTeC에서 관찰된 한계를 해결하기 위해 검색된 문서 표현을 통합하는 것이 제안되었다.