Explainability of Text Processing and Retrieval Methods: A Survey

이 논문은 자연어 처리 및 정보 검색 분야에서 딥러닝과 머신러닝 모델의 불투명성 문제를 해결하기 위해 단어 임베딩, 시퀀스 모델링, 어텐션 모듈, 트랜스포머, BERT, 문서 순위 결정 등 다양한 기법의 설명 가능성과 해석 가능성에 대한 연구 동향을 광범위하게 조사하고 향후 연구 방향을 제시합니다.

핵심

이 논문은 **"인공지능 (AI) 이 왜 이런 답을 내놓았는지, 우리가 그 이유를 알 수 있을까?"**라는 질문에서 시작합니다.

과거에는 검색 엔진이 "이 문서에 '사과'라는 단어가 5 번 나왔으니 점수를 주자"처럼 단순하고 직관적인 규칙으로 작동했습니다. 하지만 요즘의 최신 AI(딥러닝, 대형 언어 모델) 는 마치 수만 개의 나침반이 복잡하게 얽힌 미로처럼 작동합니다. 결과가 정확하긴 하지만, "왜 이 문서를 1 위로 뽑았는지" 그 내부 과정을 인간이 이해하기가 매우 어렵습니다. 이를 '블랙박스 (Black Box)' 문제라고 부릅니다.

이 논문은 바로 이 블랙박스를 어떻게 투명하게 만들어 (설명 가능하게, Explainable AI) 인간이 이해할 수 있게 할지에 대한 연구들을 총정리한 보고서입니다.

주요 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 왜 설명이 필요할까요? (블랙박스 vs 투명한 유리상자)

• 과거 (유리상자): 검색 엔진이 "사과"를 검색하면, "사과"라는 글자가 많이 나오는 문서를 찾아줍니다. 우리는 "아, 글자가 많아서 1 등인가?"라고 쉽게 이해할 수 있습니다.
• 현재 (블랙박스): 최신 AI 는 문서를 숫자 덩어리 (벡터) 로 변환하고, 수십억 개의 파라미터를 가진 복잡한 신경망을 통과시킵니다. 마치 요리사가 레시피 없이 맛만 보고 요리를 만드는 것과 같습니다. 결과는 맛있지만, "왜 소금 대신 설탕을 넣었는지"를 요리사도 모를 수 있습니다.
• 이 논문의 목적: AI 가 "이 문서를 1 위로 뽑은 이유"를 우리가 이해할 수 있는 언어 (예: "이 문서에 '애플'과 '주식'이라는 단어가 함께 나왔기 때문입니다") 로 설명해 주는 방법을 연구한 것입니다.

2. 설명하는 방법들은 어떤 것들이 있을까요?

논문은 AI 를 설명하는 여러 가지 방법을 소개합니다.

• 가짜 친구 (Surrogate Models): 복잡한 AI 대신, **단순한 모델 (예: BM25 같은 전통적 검색)**을 만들어서 "내 복잡한 AI 가 이렇게 작동하는 것 같아요"라고 대변해 주는 방법입니다. 마치 복잡한 수학 문제를 풀어서 답만 알려주는 천재 대신, 초등학생도 이해할 수 있는 쉬운 비유로 설명해주는 선생님을 세우는 것과 같습니다.
• 하이라이트 펜 (Feature Attribution): AI 가 결정을 내릴 때 어떤 단어가 가장 중요한 역할을 했는지 색칠해 주는 방법입니다.
  • 예시: "이 문서가 좋은 이유는 **'최신'**과 **'리뷰'**라는 단어가 강조되었기 때문입니다."
• 반대 상황 상상 (Counterfactuals): "만약 이 단어가 없었으면 어땠을까?"를 상상해 보는 방법입니다.
  • 예시: "만약 '최신'이라는 단어를 지우면, 이 문서는 10 위로 떨어집니다. 그러니 '최신'이 핵심입니다!"
• 비교하기 (Contrastive): "왜 A 문서는 1 등이고 B 문서는 2 등일까?"를 비교하여 차이를 설명합니다.

3. 검색 (Document Ranking) 에서의 설명

문서를 검색해서 순위를 매길 때, AI 가 왜 그렇게 순위를 매겼는지 설명하는 연구들입니다.

• 전통적 규칙의 부활: 과거의 단순한 규칙 (단어 빈도수 등) 을 다시 가져와서 복잡한 AI 의 행동을 분석합니다.
• 질문과 답변 (QA): "어디서 열리는가?"라는 질문에 "멜버른"이라고 답했을 때, AI 가 왜 '멜버른'을 선택했는지 그 근거 (문서의 특정 문장) 를 찾아내는 연구도 포함됩니다.

4. 최신 트렌드: RAG(검색을 활용한 생성) 설명하기

최근 AI 는 검색 엔진을 통해 정보를 찾아와서 답변을 생성합니다 (RAG). 이때 중요한 것은 AI 가 답변을 만들 때 어떤 문서를 참고했는지를 보여주는 것입니다.

• 신뢰성 확인: AI 가 "사과가 건강에 좋다"고 말할 때, 이것이 AI 가 기억한 거짓 정보인지, 아니면 검색한 신뢰할 수 있는 문서에서 가져온 사실인지 구분해야 합니다.
• 갈등 해결: 검색된 문서와 AI 가 기억하고 있는 정보가 다를 때 (예: 문서에는 "사과가 나쁘다"고, AI 기억에는 "좋다"고), AI 가 어떤 정보를 선택하고 왜 선택했는지 설명해야 합니다.

5. 아직 해결되지 않은 문제들 (미래 과제)

논문은 아직 풀리지 않은 난제들도 지적합니다.

• 평가 기준 부재: "이 설명이 좋은 설명인가?"를 측정하는 공식적인 시험지가 아직 없습니다. (사람이 좋다고 느끼는 것과 AI 가 정확히 설명하는 것 사이의 간극)
• 중간 문서의 소외: AI 가 긴 문서를 읽을 때, 처음과 끝은 잘 기억하지만 중간 부분은 잊어버리는 현상 ('Lost in the Middle') 이 있어, 어떤 정보가 중요한지 설명하기 어렵습니다.
• 전문 분야의 어려움: 의료나 법률 같은 전문 분야에서는 설명이 더 정밀해야 하는데, 이를 위한 연구가 부족합니다.

요약

이 논문은 **"복잡한 AI 의 머릿속을 인간이 이해할 수 있는 언어로 번역하는 방법"**에 대한 지도입니다.
AI 가 단순히 정답만 알려주는 '신비한 오라클'이 아니라, **그 이유를 설명해 주는 '친절한 가이드'**가 되도록 만드는 기술들을 소개하며, 앞으로 더 투명하고 신뢰할 수 있는 AI 를 만들기 위해 어떤 방향으로 연구해야 할지 제안합니다.

한 줄 요약: "AI 가 왜 그런 답을 냈는지, 마치 친구에게 설명하듯 쉽게 알려주는 방법들을 모은 보고서입니다."

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 최근 텍스트 처리 및 정보 검색 (IR) 분야에서 딥러닝 (Deep Learning) 과 대규모 언어 모델 (LLM), 그리고 검색 증강 생성 (RAG) 시스템의 도입으로 성능이 비약적으로 향상되었습니다.
• 핵심 문제: 이러한 복잡한 비선형 구조의 모델들은 내부 작동 원리를 인간이 이해하기 어렵게 만들어 '블랙박스 (Black-box)'화되었습니다.
• 필요성: 단순히 결과만 제공하는 것이 아니라, 왜 특정 문서가 검색되었거나, 왜 특정 답변이 생성되었는지에 대한 인간이 이해 가능한 설명 (Explainability) 과 해석 가능성 (Interpretability) 이 필수적입니다. 이는 시스템의 신뢰성, 공정성 검증, 그리고 디버깅을 위해 중요합니다.
• 기존 연구의 한계: 기존 설명 가능성 연구는 주로 자연어 처리 (NLP) 나 컴퓨터 비전 분야에 집중되어 있었으며, 정보 검색 (IR) 과 RAG 시스템에 특화된 포괄적인 조사는 부족했습니다.

2. 방법론 및 범위 (Methodology & Scope)

이 논문은 IR 과 NLP 커뮤니티에서 2004 년부터 2025 년까지 발표된 관련 연구들을 체계적으로 조사하고 분류합니다.

• 데이터 수집: SIGIR, CIKM, ACL, NeurIPS 등 주요 학술지 및 컨퍼런스에서 'explanation', 'interpretability' 키워드로 검색된 60 편의 핵심 논문을 선정하여 심층 분석했습니다.
• 분류 체계 (Taxonomy): 설명 방법들을 다음과 같은 기준에 따라 분류합니다.
  1. 모델 의존성: 모델 내부 구조를 아는 모델 인식 (Model-aware) 방식 vs. 블랙박스처럼 취급하는 모델 무관 (Model-agnostic) 방식.
  2. 적용 시기: 모델 자체를 설계 단계에서 설명 가능하게 만드는 본질적 설명 (Inherent explainability) vs. 학습된 모델의 출력을 사후에 해석하는 사후 설명 (Post-hoc interpretability).
  3. 범위: 전체 모델의 동작을 설명하는 전역 (Global) 설명 vs. 특정 입력 인스턴스에 대한 국소 (Local) 설명.
  4. 형식: 대리 모델 (Surrogate), 특징 기여도 (Feature attribution), 대조적 설명 (Contrastive), 근거 (Rationale) 등.

3. 주요 기여 및 핵심 내용 (Key Contributions & Content)

이 논문은 크게 문서 랭킹 (Document Ranking) 과 검색 증강 생성 (RAG) 두 가지 주요 영역으로 나뉘어 설명됩니다.

A. 문서 랭킹 (Document Ranking)

• 전통적 모델 이해: BM25, 언어 모델링 등 전통적 모델의 가중치와 수학적 원리를 분석한 초기 연구들을 검토합니다.
• 공리 기반 프레임워크 (Axiomatic Framework): 정보 검색의 기본 원리 (예: 용어 빈도, 문서 길이, 의미적 매칭 등) 를 공리 (Axioms) 로 정의하고, 신경 랭킹 모델 (NRM) 이 이러한 공리를 얼마나 만족하는지 진단하는 연구들을 다룹니다.
• 전역 설명 (Global Explanations):
  • 프로빙 (Probing): BERT 등의 모델 중간 레이어가 어떤 언어적 특징 (구문, 의미 등) 을 인코딩하는지 분석.
  • 대리 모델 (Surrogates): 복잡한 신경망을 BM25 나 선형 모델 같은 간단한 모델로 근사하여 동작을 설명 (LIME, SHAP 기반).
  • BERT 기반 분석: 어텐션 맵과 쿼리 - 문서 상호작용을 분석하여 BERT 가 어떻게 관련성을 판단하는지 규명.
• 국소 설명 (Local Explanations):
  • 특징 기여도: 특정 문서의 랭킹에 기여한 단어를 식별 (LIRME, EXS, SHAP).
  • 근거 추출 (Rationales): 모델의 판단 근거가 되는 텍스트 구간 (스팬) 을 추출.
  • 쿼리 확장: 쿼리 확장 기법을 통해 왜 특정 문서가 상위에 랭크되었는지 설명.

B. 대화형 및 검색 증강 생성 (RAG) 시스템

• 신뢰성 (Faithfulness): 생성된 답변이 검색된 문서 (Context) 에 기반한 것인지, 아니면 모델의 내부 지식 (Parametric Memory) 에 기반한 것인지 평가.
  • 지표: Knowledge-F1, ARES, RAGs 등.
• 귀속 (Attribution): 답변의 특정 부분이 어떤 검색된 문서에서 유래했는지 추적.
  • 문제점: "올바른 답을 내지만 잘못된 이유 (Right for the wrong reason)"로 인용하는 현상 발견.
• 지식 충돌 (Knowledge Conflicts): 검색된 문서의 정보와 LLM 의 내부 지식이 상충할 때 모델이 어떻게 반응하는지 분석 및 해결 방안 제시.

C. 부록 (Appendices)

• 심층 텍스트 처리 요소의 설명 가능성:
  • 임베딩: 단어 임베딩의 의미적 차원을 해석하는 방법.
  • 시퀀스 모델: LSTM/RNN 의 내부 상태와 문장 구조 해석.
  • 어텐션 (Attention): 어텐션 가중치가 실제 설명으로 신뢰할 수 있는지 (Faithfulness) 에 대한 논쟁과 희소 어텐션, 손실 함수 수정 등을 통한 개선 연구.
  • Transformer/BERT: 레이어별 역할, 어텐션 헤드의 기능적 분류, 정보 흐름 분석.

4. 결과 및 평가 (Results & Evaluation)

• 평가의 부재: 설명 가능성 분야는 아직 표준화된 평가 프레임워크가 부재합니다. 현재는 인간 평가 (Anecdotal), 정량적 유사도 (Fidelity), 그리고 생성된 근거의 정확성 (Correctness) 등을 혼용하여 평가하고 있습니다.
• 주요 발견:
  • 많은 신경 랭킹 모델이 전통적 IR 공리 (예: 용어 빈도 증가 시 점수 상승) 를 완전히 따르지 않음.
  • 어텐션 가중치만으로는 모델의 예측을 설명하기에 불충분할 수 있음 (Faithfulness 문제).
  • RAG 시스템에서 생성된 답변이 검색된 문서에 얼마나 충실한지 (Faithfulness) 를 측정하는 것이 핵심 과제임.
  • LLM 은 검색된 문서의 중간 부분에 있는 정보를 소홀히 하는 "Lost in the Middle" 현상을 보임.

5. 의의 및 향후 연구 방향 (Significance & Future Directions)

• 의의: IR 과 NLP 의 설명 가능성 연구를 통합적으로 조망하여, 복잡한 딥러닝 기반 검색 시스템의 투명성을 높이는 데 기여합니다. 특히 RAG 시스템의 설명 가능성에 대한 최신 동향을 포괄적으로 다룹니다.
• 향후 연구 방향:
  1. 표준 평가 프레임워크 구축: 설명 방법들을 비교 평가할 수 있는 표준 벤치마크와 프로토콜이 시급히 필요합니다.
  2. 도메인 특화 설명: 의료, 법률 등 고도화된 도메인에서의 설명 가능성 연구 필요.
  3. RAG 의 심층 분석: 검색된 문서의 랭킹 순서가 생성된 답변의 사실성에 미치는 영향, 그리고 지식 충돌 해결 메커니즘에 대한 연구.
  4. 부정적 샘플 분석: 랭킹 모델 학습 시 부정적 샘플 (Negative samples) 이 모델 성능과 설명에 미치는 영향에 대한 정밀 분석.

결론

이 논문은 텍스트 처리 및 검색 시스템의 '블랙박스' 문제를 해결하기 위한 다양한 접근법을 체계적으로 정리한 중요한 조사 논문입니다. 단순한 성능 향상을 넘어, 왜 (Why) 그 결과가 나왔는지에 대한 투명성을 확보함으로써 사용자 신뢰와 시스템 개선에 기여할 수 있는 방향성을 제시합니다.