An Iterative Utility Judgment Framework Inspired by Philosophical Relevance via LLMs

이 논문은 슈츠의 철학적 관련성 이론에서 영감을 받아 검색, 유틸리티 판단, 답변 생성의 세 단계를 순환적으로 개선하는 'ITEM' 프레임워크를 제안하고, 다양한 데이터셋을 통한 실험을 통해 기존 베이스라인 대비 성능 향상을 입증합니다.

핵심

🍳 비유: "요리사 (LLM) 와 식재료 (검색 결과)"

상상해 보세요. 유명한 요리사 (LLM) 가 손님을 위해 요리를 하려고 합니다. 하지만 요리사는 재료를 직접 농장에서 가져올 수 없고, 대신 **비서 (검색 시스템)**가 가져온 식재료만 사용할 수 있습니다.

기존 방식의 문제점은 다음과 같습니다:

1. 단순한 검색: 비서가 "토마토"를 찾으라고 하면, 비서는 단순히 '토마토'라는 글자가 적힌 종이를 100 장이나 가져옵니다. 그중에는 진짜 맛있는 토마토도 있지만, 썩은 토마토나 토마토 그림이 그려진 잡지까지 섞여 있습니다.
2. 일회성 판단: 요리사는 가져온 종이를 한 번 쓱 보고 "아, 이거 쓸만해"라고 대충 고른 뒤 요리를 시작합니다. 이때 썩은 재료를 섞어 쓰면 요리가 망가집니다.

💡 이 논문이 제안하는 해결책: "ITEM (반복적인 식재료 선별 시스템)"

이 논문은 **"검색 (재료 찾기) → 유용성 판단 (재료 고르기) → 요리 (답변 만들기)"**라는 세 단계를 서로 대화하며 반복하는 시스템을 제안합니다.

이 시스템은 철학자 슈츠 (Schutz) 의 이론에서 영감을 받았는데, 쉽게 말해 **"무엇을 찾고, 왜 그것이 중요한지 이해하고, 어떻게 활용할지 결정하는 과정"**이 서로 영향을 주고받아야 한다는 뜻입니다.

🔄 어떻게 작동하나요? (3 단계 반복 루프)

1. 1 단계: 초안 요리 (가짜 답변 만들기)

   • 요리사는 처음 가져온 재료 (검색 결과) 를 보고 "이걸로 요리를 하면 어떤 맛이 날까?"라고 상상하며 초안 답변을 만듭니다.
   • 예시: "아, 토마토와 오이로 샐러드를 만들면 좋겠네."

2. 2 단계: 식재료 재평가 (유용성 판단)

   • 이제 요리사는 "내가 만든 이 초안 샐러드를 완성하려면 정말 필요한 재료는 무엇일까?"라고 다시 생각합니다.
   • 처음 가져온 100 장의 종이 중에서, 샐러드 맛에 진짜 도움이 되는 (유용한) 종이만 골라냅니다. 썩은 토마토나 잡지는 버립니다.
   • 핵심: 단순히 '토마토'라는 글자가 있는지 (관련성) 보지 않고, '이 토마토가 샐러드 맛을 살릴 수 있는가 (유용성)'를 판단합니다.

3. 3 단계: 다시 요리 (최종 답변)

   • 이제 더 깨끗하고 좋은 재료들만 가지고 다시 요리를 합니다.
   • 이렇게 하면 요리가 훨씬 맛있어지고, 다음 번에는 더 정확한 재료를 찾을 수 있게 됩니다.

이 과정을 2~3 번 반복하면, 처음에는 엉망이었던 재료 목록이 최고급 식재료로 바뀌고, 요리사도 **완벽한 요리 (정답)**를 만들 수 있게 됩니다.

---

🌟 이 방법의 핵심 장점

1. 단순한 '관련성'이 아닌 '유용성'을 쫓습니다.

   • 질문: "고양이가 왜 울까?"
   • 관련성만 따지면: "고양이는 포유류다"라는 글자도 포함됩니다.
   • 유용성을 따지면: "고양이가 배가 고프거나 아플 때 운다"는 정보만 골라냅니다. 이 논문은 LLM 이 이 '유용성'을 스스로 판단하도록 훈련시킵니다.

2. 적은 비용으로 큰 효과 (효율성)

   • 보통 LLM 이 아주 길고 복잡한 생각을 하려면 (Long Reasoning) 시간이 많이 걸리고 비용이 비쌉니다.
   • 하지만 이 ITEM 방식은 짧은 생각 (반복적인 선별) 을 여러 번 하는 방식으로, 비용은 적게 들면서 똑똑한 결과를 냅니다. 마치 한 번에 모든 재료를 다 사지 않고, 필요한 것만 몇 번씩 정돈해서 요리하는 것과 같습니다.

3. 질문 난이도에 따라 다르게 작동

   • 복잡한 질문 (예: "어떻게 granulation tissue 가 시작되나요?"): 재료를 여러 번 정돈하고 (반복), 여러 단계의 판단 (관련성 + 유용성) 을 거치는 것이 좋습니다.
   • 간단한 질문 (예: "고양이는 몇 살까지 사나요?"): 너무 복잡하게 생각할 필요 없이, 한 번만 깔끔하게 고르면 됩니다.

📝 결론

이 논문은 **"검색된 정보를 한 번에 끝내지 말고, 답변을 만들면서 그 정보가 진짜 필요한지 반복해서 확인하고 다듬어라"**는 아이디어를 제시합니다.

마치 요리사가 재료를 고르는 과정에서 실수를 줄이고, 최종 요리의 맛을 극대화하는 것처럼, 이 시스템은 AI 가 정보를 처리할 때 더 똑똑하고, 더 정확하며, 더 효율적이게 만들어줍니다.

• 논문명: Iterative Utility Judgment Framework (ITEM)
• 핵심 메시지: "검색 (Relevance) 보다 '실제 도움 (Utility)'에 집중하고, 그 과정을 반복하여 AI 의 답변 능력을 높이자!"

기술 요약

1. 문제 정의 (Problem)

정보 검색 (IR) 과 검색 증강 생성 (RAG) 시스템에서 **관련성 (Relevance)**과 **유틸리티 (Utility)**는 성능을 평가하는 두 가지 핵심 척도입니다.

• 관련성 (Relevance): 쿼리와 검색 결과 간의 주제적 일치도 (Aboutness) 를 의미합니다. 기존 IR 연구는 주로 이 관련성을 높이는 데 집중해 왔습니다.
• 유틸리티 (Utility): 정보 추구자 (사용자) 에게 결과물이 얼마나 유용한지, 즉 답변 생성에 실질적인 가치를 제공하는지를 의미합니다.

핵심 문제:

1. RAG 의 제한된 입력 대역폭: LLM 의 입력 토큰 제한으로 인해, 모든 검색 결과를 입력하는 것은 불가능합니다. 따라서 LLM 에게 전달할 때 '주제적 관련성'이 높은 문서보다 '유틸리티 (실제 답변에 기여하는 가치)'가 높은 문서를 우선적으로 선별해야 합니다.
2. 단순한 관련성 판단의 한계: 주제적 관련성이 높다고 해서 반드시 유틸리티가 높은 것은 아닙니다 (예: Figure 1 의 예시).
3. 기존 접근법의 비효율성: 기존 LLM 기반 유틸리티 판단은 주로 '단일 회차 (Single-shot)' 방식으로 수행되어, 문맥을 충분히 활용하거나 판단 과정을 개선하지 못했습니다.

2. 방법론 (Methodology)

이 논문은 알프레드 슈츠 (Alfred Schutz) 의 철학적 '관련성 체계 (System of Relevances)' 이론을 RAG 프로세스에 적용하여 **ITEM (Iterative utiliTy judgmEnt fraMework)**을 제안합니다.

2.1 철학적 기반: 슈츠의 관련성 체계

슈츠는 인간의 인식이 세 가지 상호 의존적인 관련성으로 구성된다고 보았습니다.

1. 주제적 관련성 (Topical Relevance): 현재 집중 대상에 대한 인식 (쿼리와의 일치).
2. 해석적 관련성 (Interpretational Relevance): 과거 경험을 바탕으로 대상을 이해하는 과정.
3. 동기적 관련성 (Motivational Relevance): 해석을 바탕으로 행동을 취하거나 추가 자료를 찾는 과정.

이를 RAG 의 세 구성 요소에 매핑합니다:

• 관련성 랭킹 (Relevance Ranking) $\rightarrow$ 주제적 관련성
• 유틸리티 판단 (Utility Judgments) $\rightarrow$ 해석적 관련성 (답변 도출을 위한 가치 평가)
• 답변 생성 (Answer Generation) $\rightarrow$ 동기적 관련성 (최종 해결책 및 행동 유도)

2.2 ITEM 프레임워크

이 세 구성 요소가 동적으로 상호작용하며 각 단계를 개선한다는 아이디어를 바탕으로, LLM 을 사용하여 반복적인 유틸리티 판단을 수행합니다.

• 핵심 프로세스:

  1. 가상 답변 생성 (Pseudo-answer Generation): 이전 단계의 유틸리티 판단 결과를 바탕으로 LLM 이 질문에 대한 답변 (명시적 또는 암시적) 을 생성합니다.
  2. 유틸리티 판단 (Utility Judgment): 생성된 가상 답변을 참조하여, 후보 문서들이 실제 답변 생성에 유틸리티가 있는지 판단합니다.
  3. 반복 (Iteration): 판단된 유틸리티 문서들을 바탕으로 다시 가상 답변을 생성하고, 이를 통해 문서 선택을 정제합니다.

• 두 가지 변형 (Variants):

  1. ITEM-A (Answering in the Loop): [가상 답변 생성] $\leftrightarrow$ [유틸리티 판단] 의 반복 루프.
  2. ITEM-AR (Answering & Ranking in the Loop): [가상 답변 생성] $\leftrightarrow$ [주제적 관련성 재랭킹] $\leftrightarrow$ [유틸리티 판단] 의 반복 루프. (더 많은 구성 요소를 포함)

• 입력 방식:

  • Listwise: 여러 문서를 한 번에 입력받아 유틸리티가 있는 문서 집합을 선택.
  • Pointwise: 개별 문서를 하나씩 평가.
  • Set-based vs. Rank-based: 유틸리티가 있는 문서 집합을 선택하거나, 유틸리티 순으로 랭킹을 매기는 방식.

3. 주요 기여 (Key Contributions)

1. 철학적 이론의 RAG 적용: 슈츠의 관련성 이론을 RAG 의 구성 요소 (랭킹, 판단, 생성) 와 연결하여, LLM 의 인지 과정을 단계별로 상호작용하게 하는 새로운 프레임워크를 제안했습니다.
2. 반복적 유틸리티 개선 (ITEM): 단일 회차 (Single-shot) 방식보다 반복적인 상호작용을 통해 LLM 의 유틸리티 판단 정확도와 RAG 전체 성능을 크게 향상시켰습니다.
3. 효율성과 성능의 균형: ITEM 은 '긴 추론 (Long Reasoning)' 모드와 유사한 성능을 내면서도, 계산 비용은 훨씬 낮습니다 (약 23% 수준).
4. 다양한 작업에서의 검증: 검색 (TREC DL, WebAP), 유틸리티 판단 (GTI-NQ), 사실 기반 질문 답변 (NQ) 등 다양한 태스크에서 SOTA(최고 성능) 를 달성했습니다.

4. 실험 결과 (Results)

다양한 LLM (Mistral, Llama 3, ChatGPT, Qwen3) 을 사용하여 TREC DL, WebAP, GTI-NQ, NQ 데이터셋에서 실험했습니다.

• 유틸리티 판단 (Utility Judgments):

  • ITEM 은 기존 단일 회차 방식 (Vanilla, UJ-ExpA) 및 k-sampling 기법보다 F1 점수에서 일관되게 우세했습니다.
  • 특히 복잡하고 비사실적 (Non-factoid) 인 질문 (WebAP) 이나 복잡한 후보 문서 리스트 (GTI-NQ) 의 경우, **반복 횟수 (m=3) 와 더 많은 구성 요소 (ITEM-AR)**를 사용할 때 성능이 가장 크게 향상되었습니다.
  • 사실 기반 질문 (Factoid, TREC DL) 의 경우, 반복 횟수가 적고 구성 요소가 적은 방식이 더 효율적이었습니다.

• 랭킹 성능 (Ranking):

  • ITEM-AR 은 관련성 랭킹 (Relevance Ranking) 과 유틸리티 랭킹 모두에서 기존 RankGPT 보다 우수한 NDCG 점수를 기록했습니다.
  • 반복적인 상호작용이 문서의 관련성과 유틸리티를 동시에 개선함을 입증했습니다.

• 답변 생성 (Answer Generation):

  • ITEM 을 통해 선별된 고유틸리티 문서를 사용하여 생성된 답변의 정확도 (EM, F1) 가 기존 방법론보다 향상되었습니다.
  • 비용 효율성: ITEM 은 Long Reasoning 모드와 유사한 성능을 내면서, 추론 비용은 약 4 배 이상 절감했습니다.

5. 의의 및 결론 (Significance)

• RAG 의 새로운 패러다임: 단순한 '검색 - 생성' 구조를 넘어, 관련성, 유틸리티, 생성이 서로를 강화하는 동적 상호작용 시스템으로서 RAG 를 재정의했습니다.
• 실용적 가치: 고비용의 Long Reasoning 없이도 고품질의 유틸리티 판단과 답변 생성이 가능하여, 실제 RAG 시스템 배포에 매우 실용적인 솔루션을 제공합니다.
• 지향점: 복잡한 정보 검색 환경에서 LLM 이 어떻게 인지 과정을 통해 가장 가치 있는 정보를 선별하고 활용하는지에 대한 이론적, 실증적 토대를 마련했습니다.

한계점:

• 현재는 제로샷 (Zero-shot) 환경에서 평가되었으며, 추가적인 미세 조정 (Fine-tuning) 이나 대규모 데이터셋에서의 확장성은 향후 과제로 남았습니다.
• 검색 결과의 수 (Candidate passages) 가 실제 대규모 검색 환경보다 제한적이라는 점이 지적되었습니다.

이 논문은 철학적 통찰을 AI 시스템 설계에 접목하여, LLM 기반 정보 검색의 효율성과 정확성을 동시에 높이는 획기적인 접근법을 제시했습니다.