Reasoning Graphs: Deterministic Agent Accuracy through Evidence-Centric Chain-of-Thought Feedback

1. 문제 정의 (Problem Definition)

기존의 언어 모델 에이전트 (LLM Agents) 는 매번 새로운 쿼리가 들어올 때마다 0 에서 시작하여 (from scratch) 문맥을 검색하고 추론합니다.

• 지식 소실: 에이전트가 증거 (evidence) 를 평가하고 추론하는 과정 (Chain-of-Thought) 은 쿼리가 끝나는 순간 폐기됩니다.
• 낮은 정확도와 높은 변동성: 동일한 유형의 질문이나 동일한 증거 항목이 반복적으로 등장하더라도, 에이전트는 이전의 성공적인 평가 경험을 활용하지 못합니다. 이로 인해 동일한 입력에 대해 에이전트의 행동이 예측 불가능하게 달라지고 (높은 분산), 정확도가 낮아지는 문제가 발생합니다.
• 기존 접근법의 한계: 기존 메모리 메커니즘 (예: Reflexion, ReasoningBank) 은 쿼리 유사도나 최근성 (recency) 을 기반으로 전략을 검색하지만, 특정 증거 항목 (evidence item) 자체에 대한 피드백을 제공하지는 못합니다.

2. 방법론 (Methodology)

이 논문은 에이전트의 추론 과정을 그래프 구조로 영구화하여 증거 중심 (Evidence-Centric) 피드백을 가능하게 하는 두 가지 그래프 구조를 제안합니다.

가. 추론 그래프 (Reasoning Graph, $G_R$)

• 구조: 에이전트, 결정 (Decision), 증거 항목 (Evidence Item) 노드와 이를 연결하는 엣지로 구성됩니다.
• 핵심 메커니즘 (Evidence-Centric Feedback):
  • 새로운 쿼리에 대한 후보 증거 집합이 주어지면, 시스템은 쿼리가 아닌 각 증거 항목 ($k_i$) 에서 시작하여 과거의 모든 평가 엣지를 역방향으로 탐색합니다.
  • 정답이 확인된 (Correct-outcome) 결정들만 필터링하여 해당 증거 항목의 '증거 프로파일 (Evidence Profile)'을 생성합니다.
  • 이 프로파일에는 해당 증거가 과거에 어떻게 평가되었는지 (사용됨/거부됨 비율, 주요 거부 사유, 신뢰도 점수 등) 가 요약되어 에이전트의 프롬프트에 주입됩니다.
  • 효과: 에이전트는 동일한 증거를 다시 마주쳤을 때 처음부터 추론하는 것이 아니라, 검증된 과거 경험을 바탕으로 판단하여 일관된 결정을 내립니다.

나. 검색 그래프 (Retrieval Graph, $G_P$)

• 구조: 결정 노드와 검색된 증거 항목을 연결하는 '검색됨 (retrieved via)' 엣지를 포함합니다.
• 핵심 메커니즘 (Pipeline Planner):
  • 특정 쿼리 유형에서 일관되게 거부된 (거부율 임계값 초과) 증거 항목들을 식별합니다.
  • 미래의 검색 파이프라인에서 이러한 불필요한 후보들을 사전에 제외하여 후보 집합 (Candidate Funnel) 을 축소합니다.
  • 효과: 에이전트가 처리해야 할 토큰 수를 줄이고, 관련 없는 정보로 인한 혼란을 방지하여 추론 효율성을 높입니다.

다. 자가 개선 루프 (Self-Improving Loop)

• 두 그래프는 실행 후 원자적 (atomic) 으로 업데이트됩니다.
• 재학습 불필요: 베이스 모델의 가중치는 고정된 채, 그래프 탐색을 통한 컨텍스트 엔지니어링만으로 성능이 향상됩니다.
• ** graceful degradation:** 그래프에 기록이 없는 초기 상태 (Cold Start) 에서는 기존 RAG 와 동일한 방식으로 작동하여 기본 성능을 유지합니다.

3. 주요 기여 (Key Contributions)

1. 추론 그래프 (Reasoning Graphs): 증거 항목별 추론 체인을 구조화된 엣지로 저장하고, 증거 중심의 역방향 탐색을 통해 피드백을 제공하는 새로운 아키텍처 제안.
2. 검색 그래프 (Retrieval Graphs): 검색 메타데이터를 그래프 엣지로 활용하여 검색 파이프라인을 자가 최적화하는 메커니즘 제안.
3. 결정론적 정확도 (Deterministic Accuracy): 재학습 없이 정확도가 수렴하고 분산이 축소되는 (Variance Collapse) 피드백 아키텍처 정립. 모든 결정이 그래프 탐색을 통해 완전히 감사 (Audit) 가능해짐.
4. 평가 프로토콜 제안: 단일 쿼리가 아닌 쿼리 클러스터 단위로 순차적으로 실행하여 정확도 수렴과 분산 축소를 측정하는 엄격한 평가 방법론 제시.

4. 기대 효과 및 결과 (Expected Results & Significance)

• 정확도 수렴 (Accuracy Convergence): 실행이 거듭될수록 증거 프로파일이 풍부해지고 후보 집합이 축소되어 정확도가 비감소적으로 증가합니다.
• 분산 축소 (Variance Collapse): 에이전트의 결정이 증거 프로파일의 다수결 신호와 일치하게 되어, 동일한 증거에 대해 일관된 판정을 내리게 됩니다.
• 비용 절감: 검색 그래프를 통해 불필요한 문서를 제외함으로써 토큰 사용량이 감소하며, 전체적인 추론 비용이 시간이 지남에 따라 줄어들 것으로 예상됩니다.
• 감사 가능성 (Auditability): 모든 결정이 그래프 경로를 통해 추적 가능하여, 실패 원인 분석이 체계적으로 가능합니다.

5. 의의 (Significance)

이 연구는 에이전트의 성능 향상을 위해 모델 재학습 (Fine-tuning) 이나 복잡한 메모리 관리가 아닌, 구조화된 그래프를 통한 컨텍스트 최적화에 초점을 맞춥니다.

• 실용성: 기존 모델의 능력을 유지하면서 추가적인 학습 비용 없이 시스템 성능을 지속적으로 개선할 수 있습니다.
• 신뢰성: 에이전트의 '블랙박스' 추론 과정을 투명하게 기록하고 검증할 수 있어, 안전성 (Safety) 과 정렬 (Alignment) 측면에서 중요한 진전을 이룹니다.
• 확장성: 강력한 모델이 축적한 추론 그래프를 더 저렴한 모델이 공유하여 사용할 수 있는 크로스-모델 전이 (Cross-model transfer) 가능성도 제시합니다.

요약하자면, 이 논문은 에이전트가 매번 '새로운 시작'을 하는 대신, **증거 항목별로 축적된 집단적 지능 (Collective Intelligence)**을 활용하여 더 정확하고 일관된 결정을 내리도록 하는 혁신적인 프레임워크를 제시합니다.