💻 computer science

Interpreting Black-Box Large Language Models with Sentence-Level Energy Landscapes

본 논문은 추가적인 API 쿼리 없이도 LLM 출력에 대한 문장 수준의 프롬프트 영향력을 정량화할 수 있는 독립형 도구를 훈련하기 위해 에너지 기반 모델(Energy-Based Model)을 대리 모델로 활용하는 모델 불가지론적(model-agnostic) 사후(post-hoc) 기여도 해석기를 제안한다.

원저자: Maryam Rezaee, Pooriya Safaei, Maryam Asgarinezhad, Fatemeh Seyyedsalehi

게시일 2026-08-05

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Maryam Rezaee, Pooriya Safaei, Maryam Asgarinezhad, Fatemeh Seyyedsalehi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 매우 똑똑하지만 신비로운 로봇 친구와 대화를 나누고 있다고 상상해 보세요. 당신이 질문을 던지면, 로봇은 길고 도움이 되는 답변을 내놓습니다. 하지만 여기 함정이 있습니다. 당신은 로봇의 뇌 내부를 들여다볼 수 없습니다. 로봇이 왜 특정 단어를 선택했는지 알기 위해 그 부속품들을 엿보거나 일기를 읽을 수도 없습니다. 이것이 바로 '블랙박스(Black-Box)' 인공지능의 세계입니다. 이들은 너무 복잡하고 비밀스러워서 심지 even 제작자들조차 그들이 어떻게 결정을 내리는지 정확히 설명할 수 없는 강력한 컴퓨터 프로그램인 거대 언어 모델(LLM)입니다. 이는 의료 조언이나 법률적 도움처럼 중요한 작업에 로봇을 신뢰하고자 할 때 큰 문제가 됩니다. 당신은 다음과 같은 것을 알아야 하기 때문입니다: "로봇이 나의 질문 중 '그 부분' 때문에 이렇게 말한 것인가, 아니면 그냥 지어낸 것인가?"

이를 해결하기 위해 과학자들은 인공지능을 위한 '엑스레이 안경' 역할을 하는 도구, 즉 '해석기(interpreters)'를 구축하려고 노력해 왔습니다. 보통 이러한 도구들은 단어 하나나 글자 하나(토큰이라고 불리는)와 같은 언어의 아주 작은 구성 요소들을 살펴보려고 합니다. 하지만 언어를 한 글자씩 생각하는 것은 영화를 이해하기 위해 단일 픽셀 하나하나를 보는 것과 같아서, 매우 번거롭고 종종 큰 그림을 놓치게 됩니다. 진짜 마법은 완전한 생각, 즉 문장에서 일어납니다. 이 논문이 다루는 핵심 질문은 이것입니다: "우리가 픽셀 같은 작은 단위들을 무시하고, 대신 문장 전체를 바라봄으로써 당신의 질문 중 어떤 부분이 실제로 로봇의 답변을 유발했는지 알아낼 수 있는 도구를 만들 수 있을까?"

연구진은 이 논문에서 "그렇습니다, 할 수 있습니다!"라고 말하며, 아주 영리한 새로운 방법을 만들어냈습니다. 그들은 블랙박스를 열려고 시도하는 대신, 로봇의 '그림자 쌍둥이(shadow twin)'를 만들었습니다. 이 쌍둥이를 탐정이라고 생각해보세요. 이 탐정은 실제 로봇이 작동하는 모습을 관찰하고, 로봇의 습관을 배우며, 그 사고 과정을 그려내는 지도를 구축합니다. 그들은 이 지도를 '에너지 경관(Energy Landscape)'이라고 부릅니다. 마치 구릉이 많은 지형을 상상해 보세요. 낮은 골짜기는 '좋고 논리적인 답변'을 나타내고, 높은 봉우리는 '이상하고 틀린 답변'을 나타냅니다. 실제 로봇은 항상 낮은 골짜기에 머물려고 노력합니다.

팀은 이 탐정 쌍둥이가 이 경관을 이해하도록 훈련시켰습니다. 일단 쌍둥이가 지도를 파악하고 나면, 특정 답변에 대해 다음과 같이 물을 수 있습니다. "질문의 어떤 문장이 로봇을 이 특정한 골짜기로 밀어 넣었는가?" 그들은 ESCI라고 부르는 가볍고 독립적인 번역기 역할을 하는 도구를 구축했습니다. 일단 훈련이 완료되면, 이 도구는 더 이상 큰 로봇에게 도움을 요청할 필요가 없습니다. 그저 질문과 답변을 보고 가장 중요한 문장을 직접 가리킬 수 있습니다.

연구진은 이를 어떻게 테스트했고 무엇을 발견했을까요? 그들은 유명한 AI 모델인 GPT-4o-Mini를 '블랙박스'로 사용하고, 수천 개의 질문과 답변을 입력했습니다. 그들은 ESCI 도구가 질문의 어떤 부분이 가장 중요한지 파악하도록 훈련시켰습니다. ESCI의 추측을 다른 초지능 AI 모델(오라클 역할)의 추측과 비교했을 때, ESCI는 놀라울 정도로 정확했습니다. ESCI는 질문에 불필요한 잡담이나 '채우기용' 단어들이 많더라도 핵심적인 요점을 포착할 수 있었습니다. 예를 들어, 만약 당신이 "다섯 살 아이에게 설명하듯 말해줘"라고 질문했다면, ESCI는 질문의 주제가 아니라 "다섯 살 아이에게 설명하듯 말해줘"라는 부분이 가장 중요한 지침임을 정확히 식별해 냈습니다.

하지만 이 논문은 이것이 완벽하고 마법 같은 해결책이라고 주장하지 않도록 주의를 기울였습니다. 저자들은 ESCI가 올바른 문장을 찾는 데는 매우 뛰어나지만, 로봇의 정확한 내부 생각을 들여다보는 수정구슬은 아니라고 제안합니다. 그들은 이를 확인하기 위해 '만약에(what-if)' 테스트를 수행했습니다: 그들은 ESCI가 중요하다고 말한 문장들을 가져와서 나머지 부분을 제거한 뒤, 로봇에게 다시 답변을 해달라고 요청했습니다. 로봇은 여전히 매우 유사한 답변을 내놓았는데, 이는 ESCI가 진정한 '인과적(causal)' 동인을 찾아냈음을 시사합니다. 하지만 또한, 중요한 문장들을 제거하더라도 로봇이 방대한 일반 지식을 가지고 있기 때문에 여전히 정답을 맞힐 수 있다는 점도 언급했습니다. 이는 ESCI가 매우 훌륭하지만, 로봇이 생각하는 방식에 대한 최종적인 결론은 아니라는 의미입니다.

이 방법의 가장 멋진 점 중 하나는 효율성입니다. 이를 시도하는 다른 방법들은 종-종 하나의 답변을 알아내기 위해 큰 로봇에게 수천 번의 질문을 던져야 합니다. 이는 느리고 비용이 많이 듭니다. 하지만 ESCI 도구는 훈련이 끝나면 큰 로봇의 도움 없이도 즉시 임무를 수행할 수 있습니다. 이는 마치 안내견을 한 번 훈련시켜 놓으면, 그 개가 훈련사를 계속 호출할 필요 없이 영원히 도시를 안내할 수 있는 것과 같습니다. 연구진은 약 20,000개의 사례로 훈련시킨 후, 그들의 도구가 기존 방식보다 훨씬 빠르게 새로운 질문을 처리할 수 있음을 발견했으며, 이를 통해 엄청난 시간과 컴퓨터 자원을 절약했습니다.

결론적으로, 이 논문은 작은 단어 대신 문장을 바라보는 것이 AI를 이해하는 더 스마트한 방법임을 시사합니다. 이는 우리가 이 신비로운 로봇들을 더 신뢰할 수 있도록, 우리의 대화 중 정확히 어떤 부분이 중요한지를 짚어주는 도구를 만들 수 있음을 보여줍니다. 비록 이것이 로봇의 영혼을 들여다보는 완벽한 창은 아닐지라도, 마법 뒤에 숨겨진 논리를 볼 수 있게 해주는 매우 강력한 안경이며, 이 강력한 도구들을 우리 일상생활에서 더 안전하고 신뢰할 수 있게 만들어 줍니다.

기술 요약: 문장 단위 에너지 지형을 이용한 블랙박스 대규모 언어 모델의 해석

문제 정의

폐쇄형 API를 통해서만 접근 가능한 독점적 대규모 언어 모델(LLM)의 광범위한 채택은 책임 있는 배포를 위한 결정적인 장벽을 만들었습니다. 즉, 근본적인 해석 가능성의 결여입니다. 화이트박스 해석 방법(예: 그래디언트 기반 기여도 분석, 어텐션 시각화)은 존재하지만, 이는 폐쇄형 시스템과 호환되지 않습니다. 또한, 표준적인 모델 불가지론적 사후 기여도 분석 기술들은 텍스트 출력의 고차원적이고 상호작적인 특성과 생성 과정을 설명하는 것의 부적절한 문제(ill-posed nature)로 인해 생성 모델을 다루는 데 어려움을 겪습니다. Chain-of-Thought와 같은 프롬프트 기반 자기 설명(self-explanation) 방식의 대안들은 종종 순환 논리에 빠지며, 실제 내부 계산 경로를 드러내기보다는 불충실한 환각(confabulation)을 생성하는 경우가 많습니다. 핵심 과제는 사용자의 프로프트 중 어떤 특정 부분이 LLM의 특정 출력 부분 집합을 유도하는지를 모델의 내부 가중치나 그래디언트에 대한 접근 없이 식별하는 것입니다.

방법론

저자들은 ESCI(Energy-Based Concept-Level Surrogate Interpreter, 에너지 기반 개념 수준 대리 해석기)를 제안합니다. 이는 토큰 단위가 아닌 문장 단위로 작동하는 모델 불가지론적, 사후 기여도 분석 프레임워크입니다. 방법론은 두 가지 주요 단계로 구성됩니다.

1. 문장 단위 추상화

이 프레임워크는 문장을 하나의 완전한 명제를 표현하는 최소 언어 단위인 "개념(concept)"으로 취급합니다. 입력 프롬프트( $x$ )와 LLM 응답( $y$ )은 문장으로 분할되며, 사전 학습된 고정된 Sentence-BERT 모델을 사용하여 임베딩됩니다. 이는 분석의 단위를 노이즈가 많은 토큰에서 일관된 의미 단위로 전환하며, 개별 토큰이 명제적 구조 없이는 의미적으로 모호하다는 "맥락 원칙(Context Principle)"과 일치하도록 합니다.

2. 에너지 기반 대리 모델 (EBM)

블랙박스 LLM의 행동을 근사하기 위해, 저자들은 트랜스포머 기반의 에너지 기반 모델(EBM), $E_{LM}(x, y; \theta)$ 를 학습시킵니다.

아키텍처: EBM은 셀프 어텐션을 사용하는 "개념 공간(concept space)" 투영과 크로스 어텐션을 사용하는 "입력-출력 상호작용 모듈"을 통해 문장 임베딩을 처리합니다. 이 모델은 프롬프트와 응답 사이의 적합성을 나타내는 스칼라 에너지 값을 출력합니다.
학습 목표: EBM은 이중 목적 대조 손실(dual-objective contrastive loss)을 사용하여 학습됩니다:
- 충실도 ( $L_{fidelity}$ ): 대상 LLM의 전역적 생성 시그니처를 포착하기 위해, 실제 프롬프트-응답 쌍을 전역적 부정 사례(예: 인간의 답변 또는 다른 LM의 출력)와 구별하는 InfoNCE 손실입니다.
- 국소 의존성 ( $L_{dep}$ ): 부분 프롬프트와 불일치하는 부분 응답(및 그 반대)을 대조함으로써 국소적 인과 정밀도를 강제하여, 모델이 표면적인 아티팩트가 아닌 특정 입력-출력 의존성을 학습하도록 보장하는 손실입니다.
대리 역할: EBM은 미분 가능한 대리 모델로서, 대상 LLM의 생성 매니폴드(generation manifold) 형상을 학습합니다. 낮은 에너지는 대상 모델의 개념적 상호작용과 높은 일관성을 나타냅니다.

3. 해석기 네트워크

경량 해석기 네트워크 $I_N(x, y_T; \alpha)$ 는 사용자가 지정한 타겟 출력 부분 집합( $y_T$ )을 생성하는 데 가장 영향력이 큰 프롬프트 문장 부분 집합( $x_S$ )을 식별하도록 학습됩니다.

메커니즘: 해석기는 프롬프트, 전체 응답, 그리고 타겟 부분 집합을 입력으로 받습니다. 이는 희소한(sparse) 이진 중요도 벡터를 출력합니다.
교대 최적화를 통한 학습: 해석기는 선택된 프롬프트 부분 집합(타겟과 결합했을 때 낮은 에너지를 가져야 함)과 선택되지 않은 나머지 부분(높은 에너지를 가져야 함) 사이의 에너지 격차를 최대화하도록 학습됩니다. 마스킹된 입력으로 인한 분포 변화를 방지하기 위해, 프레임워크는 **교대 최적화(alternating optimization)**를 채택합니다. 즉, 해석기를 업데이트하고, 주기적으로 해석기의 현재 선택을 바탕으로 대상 LLM이 생성한 새로운 프롬프트-응답 쌍을 사용하여 EBM을 미세 조정합니다.
추론: 일단 학습되면, 해석기는 독립적인 도구로 작동합니다. 추론 시 대상 LLM에 대한 추가적인 API 호출이 전혀 필요하지 않으며, 이는 높은 확장성을 제공합니다.

주요 기여

개념 수준의 기여도 분석: 본 연구는 분석 단위를 토큰에서 문장으로 전환하여, 출력 요소가 사용자 프롬프트의 개념과 직접 연결되도록 하는 인간 이해 가능한 기여도 분석을 가능하게 합니다.
트랜스포머 기반 EBM 대리 모델: 저자들은 프롬프트와 응답에 대한 대리 무작위 장(random field)을 학습하기 위해 특정 샘플링 방법을 사용하는 혁신적인 EBM 아키텍처를 도입했습니다. 이 접근 방식은 방대한 출력 공간에 대한 정규화된 확률 분포를 요구하지 않고도 실제 입력-출력 역학을 모델링합니다.
모델 불가지론적 프레임워크: 제안된 프레임워크는 대상 모델의 내부 아키텍처와 독립적으로 작동하며, 특정 출력의 트리거가 되는 특정 프롬프트 문장을 식별하는 블랙박스 LLM용 사후 해석기를 제공합니다.

실험 결과

프레임워크는 GPT-4o-Mini를 대상 블랙박스 LLM으로 사용하여 HC3 멀티 도메인 Q&A 데이터셋에서 평가되었습니다.

절제 연구(Ablation Study): 이중 목적 EBM( $M_{Hybrid}$ )이 단일 목적 변체들보다 우수한 성능을 보였습니다. 이는 뛰어난 지시 로컬라이제이션(노이즈로부터 주요 쿼리를 격리), 의미적 견고성(대화적 필러 무시), 오라클 정렬(Gemini-2.5-Flash와 같은 최첨단 모델과의 일관성 랭킹), 그리고 인과적 디스엔탱글먼트(진정한 선행 사건과 방해 요소를 구분)를 달성했습니다.
기여도 타당성(Attribution Plausibility): 다섯 가지 LLM "오라클"(GPT-4o 및 GPT-J-6B 포함)과 비교했을 때, ESCI는 경쟁력 있는 정렬을 보여주었습니다. 특히, ESCI는 필요한 의존성을 효과적으로 격리하는 희소하고 확신 있는 기여도 점수를 생성한 반면, 지시 튜닝된 오라클들은 확산된 분포를 생성하는 경향이 있었습니다. 질적 사례 연구에서 ESCI는 스타일적 동인(예: "다섯 살 아이에게 설명하듯")을 의미적 내용으로부터 성공적으로 분리해 냈으며, 이는 다른 오라클들이 때때로 실패했던 기능입니다.
인과적 충실도(Causal Faithfulness): 생성적 충분성(선택된 문장만으로 타겟을 재생성할 수 있는가?)과 생성적 포괄성(선택된 문장을 제거했을 때 타겟이 소실되는가?) 지표를 사용하여, ESCI는 GPT-4o 및 문장 단위 LIME과 같은 강력한 베이스라인과 대등한 Faithfulness Gap을 달로했습니다.
확장성: 중요한 발견은 계산 효율성입니다. LIME은 섭동 기반 분석을 위해 프롬프트당 수십 개의 API 쿼리가 필요한 반면, ESCI는 추가적인 API 호출 없이 $O(1)$ 추론 시간으로 작동합니다. 프레임워크는 약 400개의 프롬프트를 해석한 후 API 비용 측면에서 손익분기점에 도달하며, 이는 대량 처리를 위한 확장 가능한 경로를 제공합니다.

의의 및 주장

본 논문은 ESCI가 블랙박스 환경에서 모델 행동을 진단하기 위한 확장 가능한 경로로서 에너지 기반 대리 모델을 확립한다고 주장합니다. 생성 역학을 미분 가능한 에너지 지형으로 모델링함으로써, 이 프레임워크는 사전 학습 후에는 대상 LLM과 더 이상의 상호작용이 필요 없는 독립적인 해석기를 훈련할 수 있게 합니다.

저자들은 이 연구를 고위험 영역에서 독점적 LLM의 불투명성을 해결하기 위한 솔루션으로 제시합니다. 전역적 훈련을 통해 전역적 생성 패턴을 포착하고 사례별 편향을 완화함으로써, 프레임워크가 계산적으로 효율적이고 인과적으로 충실한 개념 수준의 설명을 제공한다고 주장합니다.

인정된 한계점:
논문은 다음과 같은 몇 가지 한계점을 겸허히 인정합니다:

학습 오버헤드: 프레임워크는 계산 부담을 사전 학습 단계로 옮기며, 이는 작업별 훈련과 하이퍼파라미터 튜닝을 요구하여 즉각적인 일반 적용성을 제한합니다.
그라운드 트루스(Ground Truth)의 부재: 블랙박스 설정이므로, 검증은 결정론적인 그라운드 트루스(예: 오픈 웨이트 모델의 내부 그래디언트) 대신 확률적 오라클에 의존합니다.
범위: 현재 검증은 컴팩트한 대리 모델을 사용하는 Q&A 작업에 국한되어 있으며, 복잡한 추론이나 거대한 컨텍스트 윈도우에서의 성능은 추가 검증이 필요합니다.
인간 유용성: 인과적 충실도는 정량화되었으나, 편향 탐지와 같은 인간 감사 작업을 위한 실질적인 유용성은 추가적인 피험자 연구를 필요로 합니다.