💬 NLP

Extracting and Following Paths for Robust Relational Reasoning with Large Language Models

이 논문은 대규모 언어 모델의 복잡한 관계 추론 능력을 향상시키기 위해 그래프 추출, 경로 식별, 추론의 세 단계를 거치는 새로운 프레임워크인 'Path-of-Thoughts(PoT)'를 제안하며, 미세 조정 없이도 기존 최첨단 방법론을 크게 능가하는 성능과 오류에 대한 견고함을 입증했습니다.

원저자: Ge Zhang, Mohammad Ali Alomrani, Hongjian Gu, Jiaming Zhou, Yaochen Hu, Bin Wang, Qun Liu, Mark Coates, Yingxue Zhang, Jianye Hao

게시일 2026-03-25

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ge Zhang, Mohammad Ali Alomrani, Hongjian Gu, Jiaming Zhou, Yaochen Hu, Bin Wang, Qun Liu, Mark Coates, Yingxue Zhang, Jianye Hao

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 인공지능 (LLM) 이 복잡한 관계 추론 문제를 해결할 때 자주 겪는 실수를 줄이고, 훨씬 더 똑똑하게 생각할 수 있게 해주는 새로운 방법을 소개합니다.

제목은 **'Path-of-Thoughts (PoT, 생각의 길)'**입니다.

이 내용을 일반인이 이해하기 쉽게, **'미로 찾기'**와 **'지도 만들기'**에 비유해서 설명해 드릴게요.

🧩 문제: 인공지능은 왜 '친척 관계'나 '위치'를 헷갈려 할까요?

대부분의 최신 인공지능 (LLM) 은 엄청난 양의 책을 읽어서 세상을 잘 알고 있습니다. 하지만 **"A 는 B 의 아들이고, B 는 C 의 누나라면, A 와 C 는 무슨 관계일까?"**처럼 여러 단계를 거쳐야 하는 추론 문제나, "상자 A 는 상자 B 뒤에 있고, 상자 B 는 상자 C 위에 있다. 그럼 A 는 C 에게서 어디에 있을까?" 같은 공간 추론 문제에서는 종종 엉뚱한 답을 내놓거나 헷갈려 합니다.

기존의 방법들은 인공지능에게 "차근차근 생각해보고 답을 줘"라고 말하면 (Chain-of-Thought), 인공지능이 중간에 길을 잃거나, 중요한 정보를 놓쳐서 틀린 답을 내는 경우가 많았습니다. 마치 미로에서 지도 없이 막막하게 헤매는 것과 비슷합니다.

💡 해결책: 'Path-of-Thoughts (PoT)'란 무엇인가요?

이 논문은 인공지능에게 미로 전체를 한 번에 보게 하지 말고, 먼저 '지도'를 그리고, '목적지까지 가는 길'만 찾아보게 한다는 아이디어를 제시합니다. 이 과정을 3 단계로 나눕니다.

1 단계: 상황 파악하기 (그래프 추출) - "지도 그리기"

인공지능에게 이야기 전체를 주면, 중요한 정보만 골라내서 **관계도 (그래프)**를 그립니다.

비유: 미로에 들어가기 전에, 벽돌 하나하나를 다 세는 게 아니라, **"어디에 문이 있고, 어디에 길이 연결되어 있는지"**만 표시된 간단한 지도를 먼저 그리는 것입니다.
이 단계에서 인공지능은 이야기 속 등장인물 (노드) 과 그들 사이의 관계 (화살표) 를 정리합니다.

2 단계: 길 찾기 (경로 식별) - "목적지까지의 최적 경로 찾기"

지도가 그려지면, 이제 질문과 관련된 **정확한 길 (경로)**만 찾아냅니다.

비유: "A 에서 C 로 가려면 어떻게 가야 할까?"라고 물었을 때, 지도에서 A 와 C 를 연결하는 직선이나 가장 짧은 선만 쫙 뽑아내는 것입니다.
중요한 점: 만약 지도를 그리는 과정에서 실수가 있더라도 (예: A 와 B 의 관계를 잘못 표시함), 다른 길 (경로) 이 있다면 그걸로 다시 추론할 수 있습니다. 마치 미로에서 한 길이 막히면 다른 우회로를 찾아내는 것과 같습니다.

3 단계: 추론하기 (추론) - "길 따라 답 찾기"

찾아낸 '길'만 가지고 최종 답을 도출합니다.

비유: 이제 복잡한 미로 전체를 볼 필요 없이, 찾아낸 그 짧은 길만 따라가면 답이 명확하게 나옵니다. 인공지능은 이 짧은 길만 보고 "아, A 는 C 의 조카구나!"라고 쉽게 결론 내립니다.

🌟 이 방법이 특별한 이유는 무엇일까요?

실수에 강합니다 (Robustness):
- 기존 방법들은 한 번 실수하면 모든 게 무너졌습니다. 하지만 PoT 는 여러 개의 가능한 길을 찾아보기 때문에, 지도를 그릴 때 작은 실수가 있어도 다른 길을 통해 정답을 찾을 수 있습니다. (논문의 그림 1 에서 빨간색으로 표시된 오류가 있어도 정답을 맞춘 사례가 있습니다.)
학습이 필요 없습니다 (No Fine-tuning):
- 인공지능을 다시 훈련시킬 필요 없이, **질문하는 방식 (프롬프트)**만 잘 바꾸면 바로 효과를 볼 수 있습니다.
정확도가 압도적입니다:
- 실험 결과, 기존 최고의 방법들보다 최대 21.3% 까지 정확도가 높아졌습니다. 특히 단계가 많고 복잡한 문제일수록 그 차이가 더 컸습니다.

📝 한 줄 요약

"인공지능에게 복잡한 문제를 풀게 할 때, 무작정 생각하게 하지 말고, 먼저 '관계 지도'를 그리고, '목적지까지 가는 길'만 찾아보게 하면, 실수도 줄고 정답도 훨씬 잘 맞춘다."

이 방법은 인공지능이 인간처럼 **'인지 지도 (Cognitive Map)'**를 만들어 문제를 해결하는 방식을 모방한 것으로, 앞으로 더 복잡한 추론이 필요한 AI 개발에 큰 도움이 될 것으로 기대됩니다.

논문 제목: Extracting and Following Paths for Robust Relational Reasoning with Large Language Models (LLM 을 활용한 견고한 관계 추론을 위한 경로 추출 및 추적)

1. 문제 정의 (Problem Definition)

대형 언어 모델 (LLM) 은 방대한 시맨틱 지식을 보유하고 있지만, 복잡한 관계 추론 (Relational Reasoning) 작업, 특히 친족 관계 추론이나 공간적 추론과 같은 다단계 (Multi-hop) 추론 작업에서는 성능이 떨어지는 경향이 있습니다.

기존 접근법의 한계:
- Chain-of-Thought (CoT) 등 프롬프트 기반 방법: LLM 이 문맥을 직접 처리하여 추론하므로, 관련 없는 정보에 의해 방해받거나 (distraction), 긴 추론 과정에서 오류가 누적되는 문제가 발생합니다.
- 신호 - 심볼릭 (Neuro-symbolic) 방법: LLM 을 사용하여 자연어를 심볼릭 언어로 변환한 후 추론기를 실행하는 방식이지만, LLM 의 추출 오류에 매우 취약하며, 특정 작업에 맞춰 설계된 모듈이 많아 유연성이 부족합니다. 또한, 많은 수의 LLM 호출이 필요할 수 있습니다.
핵심 과제: LLM 의 언어 이해 능력과 심볼릭 추론의 견고함을 결합하되, LLM 의 추출 오류와 입력의 모호성에 강인하면서도 효율적인 추론 프레임워크를 구축하는 것입니다.

2. 제안 방법: Path-of-Thoughts (PoT)

저자들은 관계를 그래프 구조로 변환하고, 질의와 관련된 경로만 추론에 활용하는 Path-of-Thoughts (PoT) 라는 새로운 프레임워크를 제안합니다. PoT 는 세 가지 주요 단계로 구성됩니다.

1 단계: 그래프 추출 (Graph Extraction)

목표: 입력된 텍스트 스토리에서 핵심 개체 (Entities), 관계 (Relations), 속성 (Attributes) 을 추출하여 인지 지도 (Cognitive Map) 와 같은 그래프 $G=(N, E)$ 를 구성합니다.
기법: 단일 LLM 호출을 통해 구조화된 프롬프트를 사용하여 삼중항 (Triplets: $n_{head}, r, n_{tail}$ ) 과 질의 (Query) 를 동시에 추출합니다.
강화 전략:
- 섹션 마크업: 논리적 구조를 명확히 하기 위해 특수 문자로 섹션을 구분합니다.
- 구문 구분자: 출력 형식을 일관되게 유지합니다.
- 미리 정의된 카테고리: 표준화된 출력 형식을 강제합니다.
- 작업 분해: 관계 추출과 질의 추출을 하위 작업으로 분리하여 LLM 의 인지 부하를 줄입니다.

2 단계: 경로 식별 (Path Identification)

목표: 추출된 그래프에서 질의된 두 개체 ( $n_{src}, n_{tar}$ ) 를 연결하는 모든 추론 경로 (Reasoning Paths) 를 식별합니다.
기법: 깊이 우선 탐색 (DFS) 알고리즘을 사용하여 그래프 상의 모든 가능한 경로를 찾습니다.
의의:
- 단일 경로만 사용하는 것이 아니라, 여러 독립적인 경로를 식별함으로써 LLM 의 추출 오류나 스토리의 모호성으로 인한 영향을 완화합니다.
- 각 경로는 서로 다른 가능한 답을 도출할 수 있으며, 이를 통해 견고성을 확보합니다.

3 단계: 추론 (Reasoning)

목표: 식별된 각 경로에 대해 독립적으로 답을 추론합니다.
추론기 선택:
- LLM 추론기: 추출된 경로 (자연어 형태) 를 LLM 에 입력하여 답을 유도합니다. 불필요한 문맥을 제거하여 LLM 이 핵심 관계에 집중하도록 합니다.
- 심볼릭 추론기 (Symbolic Reasoner): CLINGO(Answer Set Programming) 와 같은 논리 솔버를 사용합니다. 추출된 경로를 논리 사실 (Facts) 로 변환하고, 도메인 규칙 (Rules) 을 적용하여 정확한 답을 유도합니다.
장점: 각 경로를 독립적으로 처리하므로, 하나의 경로에서 추출 오류가 발생하더라도 다른 경로를 통해 올바른 답을 얻을 가능성이 높아집니다 (Cascading error 방지).

3. 주요 기여 (Key Contributions)

효율적인 그래프 추출: 단일 LLM 호출로 그래프와 질의를 효율적으로 추출하는 프롬프트 기반 방법을 제안했습니다.
경로 식별 단계 도입: 질의된 개체와 관련된 여러 독립적인 추론 경로를 식별하여 모든 가능한 답을 추론할 수 있도록 했습니다. 이는 LLM 추출 오류와 입력 모호성에 대한 내성을 크게 향상시킵니다.
광범위한 벤치마크 검증: 친족 관계 (CLUTRR, Chinese Kinship) 와 공간적 추론 (StepGame, SPARTUN) 등 4 개의 데이터셋에서 기존 SOTA 방법론을 크게 상회하는 성능을 입증했습니다.

4. 실험 결과 (Experimental Results)

데이터셋: StepGame (공간 추론), CLUTRR (친족 추론), SPARTUN (공간 추론), 중국어 친족 관계 (Chinese Kinship).
성능 향상:
- PoT 는 미세 조정 (Fine-tuning) 이나 과도한 LLM 호출 없이, 기존 프롬프트 기반 (CoT, Few-shot 등) 및 신경 - 심볼릭 (LLM-ASP) 방법론보다 최대 21.3% 까지 정확도가 향상되었습니다.
- 특히 추론 단계 (Hop) 가 길어질수록 (예: StepGame k=10) 성능 격차가 더 커지는 것을 확인했습니다.
견고성 (Robustness):
- 추출 오류 내성: 인위적으로 그래프에 노이즈 (불필요한 엣지 추가, 관계 반전 등) 를 주입한 실험에서, 경로 식별 (Path Identification) 모듈이 있는 PoT 는 없는 경우보다 훨씬 높은 성능을 유지했습니다.
- 심볼릭 솔버와의 결합: PoT-Symbolic 은 LLM-ASP 보다 추출 오류에 덜 민감하며, 노이즈가 증가할수록 성능 저하가 적었습니다.
계산 비용: PoT 는 두 번의 LLM 호출 (추출 + 추론) 이 필요하지만, 전체 문장을 처리하는 CoT 방식과 유사한 토큰 사용량과 지연 시간을 보였습니다. 이는 전체 문맥 대신 추출된 경로만 처리하기 때문입니다.

5. 의의 및 결론 (Significance)

구조적 추론의 중요성: LLM 이 직접 텍스트를 추론하는 대신, 텍스트를 구조화된 그래프로 변환하고 질문과 관련된 하위 그래프 (Subgraph) 만을 추론에 활용함으로써, LLM 의 환각 (Hallucination) 과 관련 없는 문맥에 의한 방해를 효과적으로 줄였습니다.
신호 - 심볼릭 패러다임의 발전: 기존 신경 - 심볼릭 방법들이 특정 심볼릭 언어로 변환하는 데 집중했다면, PoT 는 범용적인 그래프 구조를 활용하여 다양한 추론기 (LLM 또는 심볼릭 솔버) 와 호환되도록 설계되었습니다.
실용성: 미세 조정 없이도 높은 성능을 발휘하며, 복잡한 관계 추론 작업에서 LLM 의 한계를 극복할 수 있는 새로운 접근법을 제시했습니다.

요약하자면, 이 논문은 LLM 의 추론 능력을 향상시키기 위해 텍스트를 그래프로 변환하고, 질의와 관련된 핵심 경로만을 선별하여 추론하는 'Path-of-Thoughts' 프레임워크를 제안하며, 이를 통해 기존 방법론들의 취약점인 추출 오류와 노이즈에 대한 견고성을 크게 개선했음을 증명합니다.