💬 NLP

REAP: Relation-Aware Elicitation and Parsing for Closed-Book Knowledge Base Construction from LLMs

미세 조정 없이 24B 파라미터 Mistral 모델을 기반으로 구축된 REAP 시스템은 구조화된 연쇄 사고(chain-of-thought) 추론, 관계별 질의, 그리고 파라미터 지식을 유효한 JSON 배열로 이끌어내고 파싱하기 위한 추론 기반 공집합 게이트를 채택함으로써 AKBC Shared Task 2026에서 0.62의 macro-F1 점수를 달성하였다.

원저자: Thanh-Dan Bui, Thanh-Trung Do, Tuan-Phong Nguyen

게시일 2026-08-12

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Thanh-Dan Bui, Thanh-Trung Do, Tuan-Phong Nguyen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 세상의 거의 모든 책을 읽었고, 프랑스의 수도부터 특정 은하계의 별 개수까지 엄청난 양의 사실을 암기한 친구가 있다고 상상해 보세요. 이 친구는 '거대 언 언어 모델(LLM)'입니다. 보통 당신이 "노벨상을 누가 받았지?"와 같은 간단한 질문을 하면, 그들은 빠르게 답을 내놓습니다. 하지만 만약 당신이 그들에게 지금까지 노벨상을 받은 모든 사람의 명단을 작성하라거나, 아주 작은 섬나라와 국경을 접하고 있는 국가가 정확히 어디인지 말해달라고 한다면 어떻게 될까요? 갑자기 작업이 훨씬 어려워집니다. 그 친구는 몇몇 이름을 잊어버리거나, 가짜 수상자를 지어내거나, 심지어 그 섬에 이웃이 있는지조차 헷갈려 할 수도 있습니다.

이것이 바로 '지식 베이스 구축(Knowledge Base Construction)'의 과제입니다. 과학자들은 이 거대하고 사실이 가득한 두뇌를 컴퓨터가 신뢰할 수 있게 사용할 수 있는 조직적인 데이터베이스로 바꾸고자 합니다. 까다로운 점은, 이 친구(AI)에게 찾아볼 도서관이 없다는 것입니다. 그들은 전적으로 자신의 머릿속(그들의 '파라미터')에 의존해야 합니다. 만약 답이 "없음"이라면, 친구는 추측하는 대신 "비어 있음"이라고 말할 줄 알아야 합니다. 만약 답이 긴 목록이라면, 그들은 단 하나의 항목도 빠뜨리지 않고 모든 항목을 정확하게 가져와야 합니다. 이 논문은 이러한 AI 친구들에게 어떻게 올바른 질문을 던져서, 환각(hallucination)을 일으키거나 혼란에 빠지지 않고 완벽하고 조직적인 목록을 얻어낼 것인가라는 문제를 다룹니다.

REAP 시스템: AI 기억력을 향한 탐정의 가이드

REAP(Relation-Aware Elicitation and Parsing)을 만나보세요. REAP을 단순한 질문자가 아니라, 매우 똑똑하지만 때로는 정신없는 목격자(AI 모델)와 함께 일하는 영리한 탐정 팀이라고 생각하십시오. 목표는 무엇일까요? 목격자의 기억으로부터 완벽하고 조직적인 사실 목록을 구축하되, 그들이 이야기를 지어내지 못하게 하는 것입니다.

연구진은 단순히 AI에게 "X와 국경을 접한 모든 국가를 나열해 봐"라고 요청하면, AI가 압도당하거나, 몇 개를 잊어버리거나, 존재하지 않는 국경을 실수로 만들어낼 수 있다는 것을 발견했습니다. 이는 마치 학생에게 교과서의 한 단원을 한 번의 호흡으로 암송하라고 요구하는 것과 같습니다. 학생은 중간에 비틀거릴 수 있습니다. 대신, REAP은 이 작업을 두 단계의 인터뷰 과정처럼 두 개의 뚜렷한 단계로 나눕니다.

1단계: 탐정의 심문 (추론 - Reasoning)
첫 번째 단계에서 REAP은 단순히 답을 요구하지 않습니다. AI에게 말을 하기 전에 생각하도록 요청합니다. 질문의 유형에 따라 탐정은 특별한 전략을 사용합니다:

국경(Borders)의 경우: "누가 접하고 있니?"라고 묻는 대신, AI에게 지리학 전문가처럼 행동하여 작은 이웃 국가를 놓치지 않도록 동, 서, 남, 북 네 방향으로 지도를 스캔하라고 지시합니다.
수상(Awards)의 경우: 만약 AI가 수상자 명단을 작성해야 한다면, 단순히 추측하지 않습니다. 시간을 10년 단위로 나누어 "1970년대에는 누가 받았나? 1980년대에는 누가 받았나?"라고 묻습니다. 이를 통해 AI가 한 시대를 통째로 건너뛰는 것을 방지합니다.
"공집합(Empty Set)" 관문: 이것은 매우 중요한 안전장치입니다. 때때로 답은 "아무도 없음"(예: 아직 사망하지 않은 생존 인물, 혹은 상장되지 않은 비상장 기업 등)일 수 있습니다. REAP은 AI가 특정 속성이 존재하지 않을 때 이를 인식하고, 가짜 이름을 지어내는 대신 자신 있게 "목록이 비어 있음"이라고 말하도록 가르칩니다.

2단계: 서기의 정리 (파싱 - Parsing)
AI가 사고 과정을 마치고 지저之处한 사실 목록을 생성하면, 2단계인 서기가 등장하여 노트를 정리합니다. 이 시스템은 답변을 추출하여 완벽한 JSON 리스트(표준 컴퓨터 형식)로 포맷팅하기 위한 엄격한 규칙을 사용합니다. 만약 AI가 혼동하여 리스트 대신 문장을 작성했다면, 서기는 이를 수정하려고 시도합니다. 만약 수정이 불가능하다면, 시스템은 더 단순한 프롬프트를 사용하여 질문을 다시 시도합니다.

연구 결과

연구진은 약 240억 개의 "뇌 세포"(파라미터)를 가진 Mistral-Small-24B-Instruct-2501이라는 특정 AI 모델을 사용하여 이 시스템을 테스트했습니다. 그들은 엄격한 규칙 하에 작업했습니다: 인터넷에서 정보를 검색하지 말 것, AI의 뇌를 변경하지 말 것(파인튜닝 금지), 그리고 파라미터가 320억 개 이하인 모델을 사용할 것.

결과는 꽤 유망했습니다. 어려운 질문들로 구성된 테스트 세트에서 REAP 시스템은 0.62의 macro-F1 점수를 달성했습니다. 이를 설명하자면, 이는 주최 측의 베이스라인 시스템(0.30점)보다 훨씬 뛰어났으며, 동일한 방식을 사용한 Llama나 Gemma와 같은 다른 인기 있는 AI 모델들보다도 우수했습니다.

이 시스템은 특정 유형의 질문에서 가장 빛을 발했습니다:

국가 국경(Country Borders): 0.95의 점수를 기록했는데, 이는 이웃 국가를 나열하는 데 거의 완벽했음을 의미합니다.
증권 거래소(Stock Exchanges): 기업이 어디에서 거래되는지 찾는 데 0.73의 점수를 기록했습니다.
면적(Area): 지리적 영역의 크기를 계산하는 데 0.77의 점수를 기록했습니다.

하지만 시스템이 모든 곳에서 완벽했던 것은 아닙니다. 경기장 수용량(venue capacity) 문제에서는 다소 어려움을 겪었으며(0.23점), 이름이 비슷한 유명 경기장과 작은 지역 경기장을 자주 혼동했습니다. 연구진은 이것이 AI의 내부 기억이 매우 구체적인 숫자나 드문 '롱테일(long-tail)' 사실에 대해서는 항상 정밀하지 못하기 때문이라고 제안합니다.

이것이 의미하는 바 (그리고 의미하지 않는 것)

이 논문은 AI로부터 더 나은 답변을 얻는 열쇠는 단순히 더 큰 뇌를 갖는 것이 아니라, 올바른 질문을 올바른 방식으로 던지는 데 있다는 점을 시사합니다. AI에게 "단계별로 생각하기(Chain-of-Thought reasoning)"를 강제하고, 다양한 사실 유형에 맞는 구체적인 전략을 제공함으로써, 시스템은 더 정확한 정보를 끌어낼 수 있습니다.

그러나 저자들은 이것이 마법의 해결책은 아니라는 점을 주의 깊게 언급합니다. 이 시스템은 여전히 AI가 암기한 것에 전적으로 의존합니다. 만약 AI가 매우 희귀한 개체(작은 섬이나 사소한 상 등)에 대한 사실을 모른다면, 시스템은 그것을 만들어낼 수 없습니다. 또한, AI가 특정 컴퓨터 칩(TPU)에서 실행되기 때문에 결과에 아주 미세한 무작위성이 존재할 수 있지만, 이는 전체적인 그림을 바꿀 정도는 아닙니다.

요약하자면, REAP은 약간의 구조와 많은 인내심이 있다면, 우리는 AI 친구들로부터 훨씬 더 신뢰할 수 있는 사실들을 끌어내어 그들의 혼란스러운 기억을 깔끔하고 사용 가능한 목록으로 바꿀 수 있음을 보여줍니다.

기술 요약: REAP – 폐쇄형 지식 베이스 구축을 위한 관계 인지적 유도 및 파싱 (Relation-Aware Elicitation and Parsing)

문제 정의

본 논문은 엄격한 제약 조건 하에서 대규모 언어 모델(LLM)을 이용해 지식 베이스를 구축하는 데 초점을 맞춘 AKBC Shared Task 2026을 다룹니다. 핵심 과제는 **폐쇄형 지식 베이스 구축 (Closed-Book Knowledge Base Construction, KBC)**입니다. 시스템은 검색 증강 생성(RAG)이나 외부 지식 없이, 최대 320억 개(32B)의 파라미터를 가진 모델만을 사용하여 작동해야 하며, 미세 조정(fine-tuning) 또한 허용되지 않습니다.

단일 정답을 가정하는 일반적인 사실 확인(factual probing)과 달리, 이 과제는 주체-관계 쌍 $(s, r)$ 에 대한 **가변적 카디널리티(variable cardinality)**를 처리해야 합니다. 출력은 반드시 다음을 포함하는 유효한 JSON 배열 형태여야 합니다:

공집합 ( $\emptyset$ ): 예: 육지 국경이 없는 나라(섬나라) 또는 생존해 있는 인물.
단일 값 객체: 예: 사망한 인물의 사망 도시.
다중 값 객체: 예: 회사가 거래하는 모든 증권 거래소 또는 수상한 모든 상의 수여자.

이 과제의 난점은 잠재적으로 긴 목록의 사실들을 기억해내는 동시에, 정밀한 정량적 값을 다루고, 엔티티를 환각(hallucination)하거나 유효한 답을 누락하지 않으면서 엄격한 JSON 스키마를 준수하는 데 있습니다.

방법론: REAP 시스템

저자들은 사실 유도(elicitation)와 답변 직렬화(serialization)를 분리하도록 설계된 2단계 파이프라인인 **REAP (Relation-Aware Elicitation and Parsing)**를 제안합니다.

1. 아키텍처 개요

1단계 (생성 및 추론): LLM은 특정 관계에 맞춤화된 증거 또는 추론 체인을 생성합니다. 출력이 파싱 불가능할 경우, 시스템은 재시도 메커니즘이나 폴백(fallback) 프롬프트를 사용합니다.
2단계 (파싱 및 추출): 시스템은 최종 답변을 JSON 배열로 추출합니다. 이는 주로 결정론적 정규 표현식 파싱(약 80%의 레코드 처리)을 통해 수행되어 형식 준수를 보장합니다. LLM 기반 추출은 복잡한 출력에 대한 폴백 용도로만 예약됩니다.

2. 관계별 프롬프트 설계

REAP는 일반적인 프롬프팅을 넘어 6개의 대상 관계에 대해 특화된 전략을 채택합니다:

awardWonBy (연대별 다회차 통과): 수백 명의 수여자가 있는 상의 재현율(recall)을 높이기 위해, 시스템은 6개의 별도 프로프트를 사용합니다: 하나의 일반 패스와 특정 연대를 다루는 5개의 보조 패스(시작~~1970년대, 1980~~1990년대, 2000~2010년대, 2020년 이후, 그리고 비서구권/덜 유명한 수여자 대상 패스).
countryLandBordersCountry (4방향 스캔): 모델이 지리 전문가로서 행동하며, 작은 이웃 국가나 떨어진 영토까지 포착하기 위해 주체의 동, 서, 남, 북 경계를 명시적으로 스캔하며, 해상 국경은 명시적으로 제외합니다.
companyTradesAtStockExchange (4단계 체크): 비상장 기업이나 자회사를 식별하기 위한 "엄격한 공개 여부 체크(Strict Public Check, 공집합 게이트)"를 포함하여, 기업이 상장되지 않은 경우 빈 집합을 반환합니다.
hasArea 및 hasCapacity: 이들은 엔티티를 모호성 해소(예: 특정 경기장과 도시 이름을 공유하는 장소를 구분)하고, 단위를 정규화( $km^2$ 로 변환)하며, 값을 타당한 범위 내에서 검증하는 다단계 CoT(Chain-of-Thought) 추론을 사용합니다.
personHasCityOfDeath: 주체가 생존해 있는지 먼저 확인하여(생존 시 빈 집합 트리거) 이름의 모호성을 해결하고 사망 도시를 찾아내는 5단계 추론 과정을 거칩니다.

3. 주요 구성 요소

추론 기반 공집합 게이트 (Reasoning-Based Empty-Set Gate): 선택적 예측(selective prediction)에서 영감을 얻은 이 시스템은 CoT를 사용하여 답변 존재 여부를 명시적으로 결정합니다. 증거가 불충분하거나 속성이 적용되지 않는 경우(예: 살아있는 사람), 모델은 값을 환각하는 대신 FINAL_ANSWER: []를 출력합니다.
하이브리드 파싱: JSON 형식에 대한 스키마 위반을 최소화하기 위해 LLM 생성보다 결정론적 정규식 추출을 우선시합니다.
후처리: 배열 추출, 숫자 정규화(천 단위 구분 기호 제거), 노이즈 필터링(경칭인 "Dr." 또는 "Sir" 및 괄호 안의 부연 설명 제거)을 포함합니다.

실험 설정

평가 모델: Gemma-2-9B-it, Llama-3.1-8B-Instruct, 그리고 Mistral-Small-24B-Instruct-2501 (주요 모델로 선정).
하드웨어: vLLM 서빙을 사용하는 TPU v5e-8.
데이터: 세 가지 카디널리티 케이스(0, 1, N)를 모두 다루는 과제 주최측 제공 훈련, 검증, 테스트 분할 데이터.
지표: Macro-F1, Micro-F1, 정밀도(Precision), 재현율(Recall). 정량적 관계는 5% 상대 오차 범위를 허용합니다.

결과

검증 및 테스트 세트 성능

제로샷 베이스라인 (Zero-Shot Baseline): REAP 파이프라인 없이 모델은 심각한 어려움을 겪었으며(Macro-F1 $\approx$ 0.38–0.43), 이는 사실 재현과 형식 준수를 동시에 수행하는 것의 난이도를 보여줍니다.
REAP 파이프라인의 영향: 2단계 파이프라인은 모든 모델에서 성능을 크게 향상시켰습니다.
- Mistral-24B는 검증 세트에서 0.43(제로샷)에서 0.65로 성능을 개선하며 가장 좋은 결과를 냈습니다.
- 공식 테스트 세트에서 Mistral-24B 시스템은 전체 Macro-F1 0.62를 달성했습니다.
관계별 성능:
- 가장 강점: countryLandBordersCountry (F1 = 0.95), companyTradesAtStockExchange (F1 = 0.73), hasArea (F1 = 0.77).
- 가장 약점: hasCapacity (F1 = 0.23). 유사한 이름을 가진 장소 간의 혼동과 엄격한 허용 임계값으로 인해 오류가 발생했습니다.
비교: 이 시스템은 주최측의 베이스라인(Qwen3.5-9B, F1 = 0.30)보다 두 배 이상의 성능을 보였으며, Llama-3.1-8B 및 Gemma-2-9B 파이프라인을 능가했습니다.

절제 연구 (Ablation Study)

연구를 통해 각 구성 요소의 필요성을 확인했습니다:

**과업 분해(Task Decomposition, 다회차 쿼리)**를 제거하면 Macro-F1이 0.06 감소하며, 특히 다중 값 관계에서 심각한 재현율 손실이 발생했습니다.
**공집합 게이트(Empty-Set Gate)**를 제거하면 답변 불가능한 엔티티에 대한 환각으로 인해 Macro-F1이 0.08 감소했습니다.
CoT 추론을 완전히 제거했을 때 가장 큰 폭의 하락(0.22)이 발생하여 제로샷 수준으로 떨어졌으며, 이는 구조화된 추론이 성공의 핵심 동력임을 입증합니다.

의의 및 주장

본 논문은 폐쇄형 KBC 환경에서 파라미터 지식을 신뢰성 있게 유도하기 위해서는 구조화된 추론이 필수적이라고 주장합니다. 주요 시사점은 다음과 같습니다:

분리가 효과적임: "생각하는 것"(유도)과 "형식을 맞추는 것"(파싱)을 분리하는 것은 환각과 스키마 위반을 크게 줄입니다.
관계 인지의 중요성: 일반적인 프롬프팅은 가변적 카디널리티 과제에서 실패하며, 재현율을 극대화하기 위해서는 특화된 전략(지리적 스캔, 연대별 통과 등)이 필요합니다.
모델 용량의 한계: 추론 프롬프트가 도움이 되지만, 9B와 24B 모델 사이에 명확한 성능 격차가 존재하며, 이는 더 큰 모델이 구조화된 파이프라인, 특히 롱테일 엔티티 처리에 더 유리함을 시사합니다.
파라미터 지식의 한계: 고급 프롬프팅을 사용하더라도 매우 희귀한 엔티티에 대한 지식은 여전히 불완전하며, 정량적 정밀도는 모델의 내부 표현 능력에 의해 제한된다는 점을 인정합니다.

저자들은 REAP가 엄격하고 관계 중심적인 추론과 결정론적 파싱을 활용한다면, 미세 조정이나 외부 검색 없이도 LLM으로부터 지식 베이스를 구축할 수 있는 실행 가능한 경로를 보여준다고 결론짓습니다.