💬 NLP

ReLTEx: Reliable LLM-based Taxonomy Expansion

이 논문은 후보 생성과 구조 인식 검증, 그리고 재귀적 확장 제어를 결합하여 환각 현상과 계층적 불일치를 완화함으로써, LLM 기반 분류 체계 확장(taxonomy expansion)의 신뢰성과 의미론적 일관성을 향상시키는 프레임워크인 ReLTEx를 소개한다.

원저자: Zeinab Ghamlouch, Mehwish Alam

게시일 2026-08-12

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Zeinab Ghamlouch, Mehwish Alam

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 모든 책, 아이디어, 사실들이 바닥에 흩어져 있는 거대하고 혼란스러운 도서관이라고 상상해 보세요. 이 무질서를 이해하기 위해 과학자들은 **택소노미(Taxonomy, 분류 체계)**라고 불리는 것을 사용합니다. 택소노미를 아이디어들의 아주 잘 정리된 파일 캐비닛이나 가계도라고 생각하면 됩니다. 이것은 사물들이 서로 어떻게 연관되어 있는지에 따라 그룹화합니다. 예를 들어 "개"는 "동물"의 한 종류이고, "동물"은 "생물"의 한 종류입니다. 이러한 구조는 컴퓨터가 세상을 이해하고, 질문에 대한 답을 찾으며, 방대한 양의 데이터를 탐색하는 데 도움을 줍니다. 하지만 문제는 세상이 너무 빠르게 변한다는 점입니다. 매일 새로운 아이디어가 등장하는데, 이 파일 캐비닛을 수동으로 업데이트하려는 것은 마치 백만 개의 레고 블록을 손으로 직접 분류하려는 것과 같습니다. 이는 너무 느리고, 비용이 많이 들며, 도저히 따라잡을 수 없는 일입니다.

최근 우리는 새로운 조력자를 만났습니다. 바로 **대규모 언어 모델(LLM)**입니다. LLM을 인터넷에 있는 거의 모든 것을 읽은 매우 똑똑하고 박식한 로봇이라고 생각할 수 있습니다. 이 로봇은 문장에서 다음에 올 내용을 추측하거나 새로운 아이디어를 제안하는 데 능숙합니다. 과학자들은 이 로봇들이 우리의 파일 캐비닛을 자동으로 구축하고 업데이트할 수 있기를 바랐습니다. 하지만 함정이 있습니다. 때때로 이 로봇들은 지나치게 창의적일 때가 있습니다. 그들은 "Bank"라는 단어를 공유한다는 이유만으로 "River Bank(강둑)"를 "Financial Institution(금융 기관)"의 한 종류라고 제안하거나, 실제로 존재하지 않는 개념을 만들어낼 수도 있습니다. 만약 우리가 이들을 제멋대로 내버려 둔다면, 우리의 깔끔한 파일 캐비닛은 엉망진창인 쓰레기 더미가 될 수 있습니다.

여기서 ReLTEx라는 프레임워크를 제안하는 새로운 연구가 등장합니다. 연구진은 이 똑똑한 로봇들을 사용하여 우리의 분류 체계를 확장하면서도, 그들이 엉망을 만들지 않도록 하는 방법을 알아보고 싶었습니다. 그들은 단순히 로봇이 원하는 대로 쓰게 내버려 두지 않았습니다. 대신 모든 제안을 검사하는 "품질 관리" 시스템을 구축했습니다. 연구진은 로봇의 창의성과 엄격하고 구조를 인식하는 검사기를 결려 사용하여, 가계도에 올바르게 들어맞는 새로운 개념들을 생성할 수 있다는 것을 발견했습니다. 이 연구는 이 방식이 단순히 로봇에게 추측하게 하는 것보다 훨씬 더 신뢰할 수 있는 결과를 만들어낸다고 시사하지만, 진정으로 완벽해지기 위해서는 훨씬 더 크고 복잡한 데이터셋에서 여전히 테스트가 필요하다고 언급합니다.

ReLTEx 이야기: 창의적인 로봇 길들이기

그렇다면 ReLTEx는 실제로 어떻게 작동할까요? 여러분이 매우 엄격한 도서관의 수석 사서라고 상상해 보세요. 여러분에게는 이야기를 쓰고 새로운 캐릭터를 만들어내는 데 매우 뛰어난 로봇 조수가 있습니다. 여러분이 로봇에게 "바다에는 어떤 종류의 동물들이 사나요?"라고 묻습니다. 그러면 로봇은 "물고기, 고래, 그리고... '씨-치즈(Sea-Cheese)'요!"라고 대답할지도 모릅니다.

만약 여러분이 로봇의 말을 그대로 믿는다면, 여러분의 도서관은 가짜 동물들로 가득 차게 될 것입니다. ReLTEx는 이를 막기 위해 구축된 시스템입니다. 이것은 아이디어를 위한 3단계 조립 라인처럼 세 단계로 작동합니다.

1단계: 창의적인 불꽃
먼저, 시스템은 로봇(LLM)에게 새로운 아이디어를 내놓으라고 요청합니다. 하지만 단순히 "아이디어를 내봐"라고 말하지 않습니다. 대신 로봇에게 구체적인 맥락을 제공합니다. 시스템은 도서관의 꼭대기에서 현재의 선반까지 이어지는 경로를 로봇에게 보여줍니다. 예를 들어, 로봇이 "과일" 섹션을 보고 있다면, 로봇은 "과일"이 "음식" 아래에 있다는 것을 보고, 이미 그곳에 "사과"와 "바나나"가 있다는 것을 보게 됩니다. 로봇은 이 정도 수준의 세부 사항에 맞는 새로운 과일을 발명하라는 지시를 받습니다. 로봇은 후보 목록을 생성하겠지만, 우리는 로봇이 실수로 "숟가락"이나 "파란색"을 제안할 수도 있다는 것을 알고 있습니다.

2단계: 엄격한 검사관
이 부분이 가장 중요합니다. 새로운 아이디어가 선반에 놓이기 전에 반드시 테스트를 통과해야 합니다. 연구진은 엄격한 사서 역할을 하는 특별한 "검사관(분류기)"을 만들었습니다. 이 검사관은 단순히 단어가 듣기 좋은지를 확인하는 것이 아니라, 구조를 확인합니다. 검사관은 다음과 같이 묻습니다. "이 새로운 아이디어가 실제로 이 부모 항목 아래에 속하는가?"

검사관은 방대한 양의 올바른 예시와 잘못된 예시를 학습했습니다. 검사관은 "답변(Answer)"이 "질문(Question)" 아래에는 들어가야 하지만, 답변이 창의적일 수 있다는 이유만으로 "창작물(Creative Work)" 아래에는 들어가서는 안 된다는 것을 배웠습니다. 또한 로봇이 만들어낸 존재하지 않는 아이디어인 "환각(Hallucations)"을 식별하는 법도 배웠습니다. 만약 로봇이 "씨-치즈"를 제안한다면, 검사관은 "아니오, 그것은 실제 동물이 아니며 가계도에도 맞지 않습니다"라고 말합니다. 이 엄격한 테스트를 통과한 아이디어만이 남을 수 있습니다.

3단계: 안전 브레이크
때때로 로봇은 하나의 아이디어를 맞힌 후, 그 하나의 실수를 바탕으로 엉뚱한 개념의 사슬을 만들어내며 폭주할 수 있습니다. ReLTEx에는 이를 위한 안전 브레이크가 있습니다. 시스템은 검사관이 새로운 아이디어에 대해 얼마나 확신하는지를 살펴봅니다. 만약 검사관이 새로운 "씨-치즈"에 대해 50%의 확신밖에 없다면, 시스템은 그 가지의 확장을 중단합니다. 시스템은 "이 부분은 충분히 확실하지 않으니, 더 큰 난장판을 만들기 전에 멈춥시다"라고 말합니다. 이는 도서관이 잘못된 방향으로 성장하는 것을 방지합니다.

연구 결과

연구진은 이 시스템을 두 가지 다른 "도서관(데이터셋)"으로 테스트했습니다. 하나는 SemEval-2016 Task 13 Environment라는 작은 표준 테스트 세트였고, 다른 하나는 1,100개 이상의 개념을 가진 거대하고 실제적인 라이브러리인 Schema.org였습니다.

그들은 "마스크된 택소노미 확장(Masked Taxonomy Expansion)"이라는 게임을 수행했습니다. 도서관에서 실제 책 몇 권을 숨겨두고 로봇에게 그것들을 다시 찾아내라고 요청하는 상황을 상상해 보세요.

작은 도서관에서, 그들이 테스트한 모델 중 하나인 Mistral은 숨겨진 책 중 약 **42%**를 정확하게 찾아냈습니다.
거대한 Schema.org 라이브러리에서는 약 **23%**를 찾아냈습니다.

이 수치들이 낮아 보일 수 있지만, 연구진은 로봇이 단순히 목록에서 고르는 것이 아니라 처음부터 새로운 아이디어를 만들어내야 하기 때문에 이는 매우 어려운 작업이라고 설명합니다. 더 중요한 것은, 인간 전문가들에게 결과를 보여주었을 때 전문가들이 매우 깊은 인상을 받았다는 점입니다. Schema.org 라이브러리에 대해, 인간 심사위원들은 "세분도 일관성(Granularity Consistency, 즉 새로운 아이디어가 적절한 상세 수준에 완벽하게 부합함)"에서 1.000이라는 거의 완벽한 점수를 주었으며, "계층 관계 합리성(Hierarchy Relationship Rationality, 즉 부모-자식 관계가 논리적으로 타당함)"에서도 1.000을 주었습니다.

이 연구는 ReLTEx가 단순히 로봇의 "직감"에 의존하지 않기 때문에 큰 진전이라고 시사합니다. 구조적 검사기를 추가함으로써, 시스템은 엉터리를 걸러내고 가계도를 체계적으로 유지합니다.

한계와 미래

연구진은 이것이 모든 것을 해결하는 마법 지팡이가 아니라는 점을 분명히 하고 있습니다. 그들은 테스트를 위해 상대적으로 작은 오픈 소스 로봇들을 사용했으며, 더 크고 강력한 로봇들은 더 잘할 수 있을 것이라고 추측합니다. 또한 그들의 "검사관"은 학습된 근사치(learned approximation)이므로, 가끔 잘못된 아이디어를 통과시킬 수도 있음을 인정합니다.

또한, 이것은 기존의 방식(기존의 것을 분류하는 것)이 아닌 새로운 방식(아이디어를 생성하는 것)이기 때문에, 아직 기존 방법들과 비교할 수 있는 완벽한 표준이 없습니다. 연구는 ReLTEx가 더 신뢰할 수 있고 일관된 택소노미를 생성하지만, 여전히 발전 중인 분야임을 시사합니다. 연구팀은 결론적으로, 그들의 접근 방식이 우리가 수동으로 업데이트할 수 있는 속도보다 더 빠르게 변화하는 세상에서 디지털 도서관을 정리하는 유망한 방법이지만, 주의 깊게 사용하고 지속적인 테스트가 필요한 도구라고 밝혔습니다.

기술 요약: ReLTEx – 신뢰할 수 있는 LLM 기반 분류 체계 확장

1. 문제 정의

분류 체계(Taxonomy)는 지식 그래프 및 시맨틱 검색과 같은 애플리케이션에 필수적인 구조화된 계층적 지식 표현을 제공한다. 그러나 수동 유지보수는 비용이 많이 들고 도메인이 진화함에 따라 규모를 확장하기 어렵다. 어휘-통사적 패턴, 분포 의미론, 그리고 사전 학습된 언어 모델(PLM)을 이용한 자동 분류 체계 확장 연구가 진행되어 왔으나, 기존 방식들은 다음과 같은 중대한 한계에 직면해 있다:

후보 제약(Candidate Constraints): 대부분의 접근 방식은 새로운 개념을 동적으로 생성하기보다는 후보 개념이 사전에 제공되는 제약된 환경에서 작동한다.
LLM의 환각(Hallucination) 및 불일치: 생성 과정에서 대규모 언어 모델(LLM)에 직접 의존하면 노이즈가 섞이거나, 중복되거나, 계층적으로 일관되지 않은 구조가 발생하는 경우가 많다. 생성된 개념은 의미적으로 모호하거나(예: "Question" vs. "Inquiry"), 중복되거나, 부적절한 부모 노드에 연결되어 계층적 일관성을 해칠 수 있다.
재귀적 전파(Recursive Propagation): 명시적인 구조 검증 없이는 부모-자식 관계의 오류가 재귀적 확장 과정에서 축적되고 전파될 수 있다.

핵심 과제는 완전히 새로운 개념을 동적으로 생성하는 **생성적 분류 체계 확장(Generative Taxonomy Expansion)**을 수행하면서도, 결과 구조가 의미적으로 일관되고 계층적으로 정합성을 유지하도록 하는 것이다.

2. 방법론: ReLTEx 프레임워크

ReLTEx는 제로샷 LLM 기반 후보 생성과 구조 인식 검증, 그리고 재귀적 확장 제어를 결다는 설계된 프레임워크이다. 프로세스는 세 가지 명확한 단계로 운영된다:

A. LLM 기반 후보 생성

프레임워크는 시드(Seed) 분류 체계를 대상으로 깊이 우선 탐색(Depth-first traversal)을 수행한다. 각 대상 노드에 대해 다음을 포함하는 프롬프트를 구성한다:

로컬 계층 문맥(Local Hierarchical Context): 루트에서 대상 노드까지의 경로.
기존 자식 노드: 추상화 수준(Granularity)을 가이드하기 위함.

LLM은 중복, 동의어 또는 기존 형제 노드의 단순 재구성을 피하면서, 고정된 개수( $k$ )의 새로운 자식 개념을 생성하도록 지시받는다. 생성된 후보들은 검증 전 단순 어휘 정규화를 거쳐 정확한 중복을 제거한다.

B. 구조 인식 후보 검증

환각 현상이나 구조적으로 일관되지 않은 관계를 필터링하기 위해, ReLTEx는 분류기 유도 검증(Classifier-guided validation) 메커니즘을 채택한다. 단순히 의미적 유사성에 의존하는 방식과 달리, 이 모듈은 구조적 적합성을 학습한다.

모델: 레이블이 지정된 부모-자식 관계 쌍에 미세 조정된 DistilRoBERTa 인코더.
입력 형식: 경로 [SEP] 부모 [SEP] 자식, 여기서 경로는 조상 시퀀스를 나타낸다.
학습 데이터:
- 양성 예시(Positive Examples): 시드 내의 유효한 분류 체계 엣지.
- 음성 예시(Negative Examples): 역방향 엣지, 형제 혼동, 조부모-자식 혼동, 동일 층위 불일치, 근접 계층 혼동, 무작위 유효하지 않은 관계 등 계층 구조를 고려한 섭동(Perturbation)을 통해 생성된 "하드 네거티브(Hard Negatives)".
결정: 분류기는 신뢰도 점수 $s(p, v, c_i)$ 를 출력한다. 점수가 임계값 $\tau$ 보다 높은 후보는 수용되고, 그렇지 않은 후보는 폐기된다.

C. 재귀적 확장 제어

오류의 전파와 통제되지 않는 성장을 방-지하기 위해, ReLTEx는 수용된 자식들의 신뢰도 점수에 기반한 재귀적 정지 메커니즘을 구현한다:

최소 개수: 브랜치는 최소 $m$ 개의 수용된 자식을 가질 때만 계속 확장된다 ( $|A_v| \ge m$ ).
신뢰도 안정성: 확장은 현재 레벨의 수용된 자식들의 평균 신뢰도( $S(v)$ )가 부모의 평균 신뢰도($S(parent(v)) $)보다 크게 낮아지지 않을 때만 계속된다. 구체적으로,$ S(v) \ge S(parent(v)) - \delta$를 만족해야 한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 제안한다:

제로샷 확장 프레임워크: 사전 정의된 후보 풀에 의존하지 않고 분류 체계의 계층적 문맥을 활용하여 후보 개념을 생성하는 시스템.
구조 인식 검증: 학습된 분류기를 사용하여 환각 및 구조적으로 일관되지 않은 부모-자식 관계를 완화하며, 특히 재귀적 확장의 신뢰성을 높이기 위해 설계된 메커니즘.
포괄적 평가 프로토콜: 적응된 자동 지표, 인간 평가, 그리고 LLM 기반 분류 체계 평가(LITE 사용)를 결합한 다각적 평가 전략.

4. 실험 결과

프레임워크는 SemEval-2016 Task 13 (Environment) 및 Schema.org 두 벤치마크에서 평가되었으며, 잎 노드(Leaf node)의 20%를 정답(Ground truth)으로 숨긴 마스킹된 분류 체계 확장 설정이 적용되었다. 네 가지 오픈 소스 LLM(Llama3.2, Mistral, Qwen3, DeepSeek-R1)이 생성기로 테스트되었다.

정량적 지표

복구(Recovery): 모든 모델이 숨겨진 개념을 복구하는 능력을 보여주었다. Mistral은 더 큰 규모의 Schema.org 데이터셋에서 가장 강력한 종합 성능(가장 높은 R@K, MRR, WuP 점수)을 보였으며, Llama3.2는 더 작은 SemEval 데이터셋에서 가장 우수한 성능을 보였다.
의미적 vs 어휘적: Qwen3는 높은 SoftRecall 점수를 달elle하여 강한 의미적 복구 능력을 보여주었으며, 이는 정확한 어휘적 일치가 없더라도 의미적으로 동등한 개념을 생성할 수 있음을 나타낸다.
안정성: DeepSeek-R1은 낮은 복구 점수와 높은 분산을 보였는데, 이는 다양한 마스킹 구성에 대해 안정성이 낮음을 시사한다.

인간 평가

평가자들은 생성된 확장에 대해 계층적 정확성(HC), 입도 일관성(GC), 비중복성(NR)을 평가하였다.

결과는 모든 모델에서 HC, GC, NR에 대해 일관되게 높은 점수를 기록하였으며, 이는 수용된 개념들이 일반적으로 적절한 위치에 있고 해당 브랜치의 추상화 수준과 일치함을 나타낸다.
Qwen3는 SemEval에서 가장 높은 HC와 GC를 달성하였고, Mistral과 Qwen3는 높은 의미적 복구(SR)에서 동률을 기록했다.

LLM 기반 평가 (LITE)

완전히 확장된 분류 체계를 평가하기 위해 LITE 프레임워크를 사용하였다 (재귀적 확장):

의미적 품질 (SCA): 풍부해진 분류 체계는 높은 SCA 점수를 유지하였으며, 이는 재귀적 확장이 의미적 명확성을 보존함을 나타낸다.
논리적 일관성 (HRR): 계층 관계 합리성(Hierarchy Relationship Rationality)은 대체로 유지되거나 향상되었다.
배타성/독립성 (HRE/HRI): 대부분의 평가자는 풍부해진 분류 체계에 대해 동일하거나 더 높은 점수를 부여하였으며, 특히 Environment 데이터셋에서 그러하였다.

5. 의의 및 주장

본 논문은 "후보 부착(Candidate attachment)" 패러다임을 넘어 **생성적 확장(Generative expansion)**과 내장된 신뢰성 검사를 수행함으로써 자동 분류 체계 확장의 핵심적 공백을 해결한다고 주장한다.

신뢰성: 삽입 전 각 부모-자식 관계를 계층적 문맥 내에서 검증함으로써, 재귀적 LLM 생성에서 흔히 발생하는 오류 축적을 줄인다.
품질: 구조 인식 검증과 재귀적 정지 기준의 결합은 의미적으로 일관될 뿐만 아니라 계층적으로도 정합적인 분류 체계를 생성한다.
평가: 본 연구는 적응된 지표와 다각적 평가(인간 및 LLM)를 통해 생성적 확장의 고유한 도전 과제(예: 의미적 변형, 대안적 부모 노드)를 고려한 더욱 엄격한 평가 프로토콜을 구축한다.

인정된 한계점

저자들은 실험이 상대적으로 컴팩트한 오픈 소스 모델에 의존하고 있음을 언급하며, 더 큰 모델은 더 높은 품질을 낼 수 있다고 노트했다. 또한, 분류기는 학습된 근사치이며 때때로 잘못된 관계를 수용할 수 있다. 마지막으로, 재귀적 생성적 확장에 대한 표준화된 벤치마크가 부족하여 시스템 수준의 직접적인 비교가 어렵다는 점을 밝히고 있다.