기술 요약: ENTLORE – 잠재적 조직 추론을 위한 그래프 기반 벤치마크

문제 정의

기업용 질의응답(QA)은 전통적으로 시스템이 내부 문서를 식별하여 근거 있는 답변을 생성하는 검색 작업으로 프레임화됩니다. 그러나 일상적인 기업 기록은 미래의 질의를 위해 설계된 자기 완결적 설명이라기보다 업무 결과물(work-by-products)인 경우가 많습니다. 결과적으로, 프로젝트 범위, 별칭 대응 관계, 또는 워크스트림 책임과 같은 핵심적인 조직적 관계들은 이질적인 소스 전반에 걸쳐 **암묵적(implicit)**인 상태로 남아 있습니다.

기존 벤치마크(예: TechQA, EKRAG, MultiDoc2Dial)는 다중 소스 평가를 개선해 왔으나, 일반적으로 정해진 추론 경로를 따라 증거를 구체화합니다. 이러한 설정에서는 필요한 모든 단계가 코퍼스 내에 명시적으로 기재되어 있어, 시스템이 명시된 사실을 검색하고 합성하는 능력을 테스트할 뿐, 텍스트에 존재하지 않는 대상 관계를 복구하는 능력은 테스트하지 못합니다. 본 논문은 현재의 평가 방식에 존재하는 격차, 즉 잠재적 조직 추론(latent organizational reasoning) 능력을 평가할 수 없다는 점을 지적합니다. 잠재적 조직 추론이란 공개된 문서에는 명시적으로 기재되어 있지 않지만, 기저의 조직 구조로부터 도출 가능한 조직적 관계를 복구하고 추론하는 능력을 의미합니다.

방법론: ENTLORE 프레임워크

저자들은 평가 대상 시스템에 정답(ground truth)을 노출하지 않으면서 이러한 잠재적 추론 능력을 평가하기 위해 설계된 그래프 기반 벤치마크 구축 프레임워크인 ENTLORE를 소개합니다. 이 프레임워크는 다음 4단계로 작동합니다:

1. 감사된 진실 그래프($G_{truth}$)의 재구성:

   • 시스템은 일상적인 문서, 권위 있는 조직 테이블, 그리고 운영 트레이스(operational traces)로부터 원시 그래프($G_{raw}$)를 재구성합니다.
   • 도출된 관계를 인증하기 위해 버전 관리된 조직 관례(organizational conventions)(프라이빗하고 타입화된 추론 규칙) 라이브러리가 적용됩니다. 예를 들어, 어떤 규칙은 특정 모듈에서 작업하는 사람이 해당 프로젝트의 일부 프로젝트를 수행 중이라면 그 프로젝트를 수행 중인 것으로 추론할 수 있습니다.
   • 결과물인 진실 그래프는 고유 사실(native facts), 메타데이터, 휴리스틱 연관성, 그리고 **인증된 도출 관계(certified derived relations)**를 분리합니다.

2. 프라이버시 보존형 코퍼스 투영:

   • 공유된 익명화 맵($\phi$)이 프라이빗한 세계를 공개 문서 코퍼스($D_{release}$)로 투영합니다.
   • 이 과정은 상대적인 조직 구조, 장르, 정보 밀도를 보존하면서 엔티티의 이름을 변경하고 날짜를 이동시킵니다.
   • 결정적으로, $D_{release}$에는 대상 관계에 대한 명시적인 진술이 포함되어 있지 않습니다. 프라이빗한 조직 기록, 인증 규칙, 그리고 진실 그래프는 평가 시스템으로부터 숨겨져 있습니다.

3. 질문 생성 및 역량 분해:

   • 질문은 $G_{truth}$에서 샘플링하고 쿼리를 실행하며 증거 의존성을 기록하는 타입화된 그래프 연산자를 통해 생성됩니다.
   • 본 벤치마크는 증거 가용성에 따라 질문을 세 가지 난이도 수준으로 분류합니다:
     • L1 (명시적 조회): 정답이 단일 공개 문서에 명시적으로 기재되어 있음.
     • L2 (명시적 합성): 정답을 얻기 위해 여러 공개 소스에 명시적으로 기재된 사실들을 합성해야 함.
     • L3 (잠재적 조직 추론): 대상 관계가 공개된 소스 중 어느 곳에도 나타나지 않음. 이는 오직 $G_{truth}$에만 존재하며, 분산된 관찰로부터 암묵적인 조직 구조를 추론함으로써 복구되어야 함.

4. 검증:

   • 모든 질문은 그래프 프로그램이 유일하고 완전한 답변과 인증된 도출 과정을 반환하는지 확인하기 위해 검증됩니다.
   • L3 항목의 경우, 전체 릴리스 스캔을 통해 대상 관계가 모든 공개된 엔티티 별칭(alias)에서 부재함을 확인합니다.

주요 기여

1. 잠재적 조직 추론의 공식화: 시스템이 이질적인 근거 사실들을 결합하여 명시적으로 언급되지 않은 조직 특유의 관계를 복구해야 하는 새로운 역량을 정의했습니다.
2. 감사된 진실 그래프 구축: 실제 기업 문서와 권위 있는 테이블로부터 고유 사실과 인증된 도출 관계를 분리하여 벤치마크를 구축하는 프레임워크를 제안했습니다.
3. ENTLORE 벤치마크: 2,341개의 문서와 907개의 질문(L1 469개, L2 204개, L3 234개)을 포함하며, 56개의 모델 및 액세스 구성에 대해 평가되었습니다.
4. 액세스 패러다임 평가: 폐쇄형(closed-book), 렉시컬 검색(BM25), 평면 밀집 검색(RAG), 에이전트 파이프라인, 그리고 그래프 기반 접근 방식(GraphRAG, LLM Wiki)을 잠재적 추론 과제에 대해 비교하는 포괄적인 매트릭스를 제공합니다.

실험 결과

평가는 8개의 모델(GPT-5.4, Claude-Sonnet, Qwen, DeepSeek 포함)과 7개의 액세스 조건을 대상으로 진행되었습니다.

• 명시적 증거에 대한 성능 (L1/L2): 시스템은 명시적 조회 및 합성에서 양호한 성능을 보였습니다. GraphRAG, BM25, 그리고 LLM이 컴파일한 Wiki가 상위 그룹을 형성했으며, 정확도는 약 50%에서 63% 사이였습니다. 평면 RAG와 에이전트 기반 검색은 이러한 구조적 또는 렉시컬 베이스라인보다 낮은 성능을 보였습니다.
• 잠재적 추론에 대한 성능 (L3): 모든 구성에서 성능이 크게 하락했습니다.
  • GraphRAG가 평균 L3 정확도 **36.2%**로 가장 높았으며, BM25(34.0%)와 LLM Wiki(27.7%)가 그 뒤를 이었습니다.
  • 평면 RAG(18.9%)와 에이전트 기반 검색(13.5%)은 매우 낮은 성능을 보였으며, 이는 구조적 귀납 없이 반복적인 상호작용만으로는 잠재적 관계를 복구하는 데 도움이 되지 않음을 시사합니다.
  • 성능 격차는 매우 이질적입니다. GraphRAG는 "부서 귀속(Department attribution)" 작업에서 BM25를 크게 앞지르지만, "포함 관계 귀속(Containment attribution)"에서는 이점이 적게 나타났습니다.
• 골드 문서 잔여물 (Gold Document Residual): 모든 필요한 증거가 포함된 정확한 "골드 문서"를 제공하더라도(오라클 에이전트 $\Omega$를 통해), L3 질문의 **30.4%**가 여전히 해결되지 않았습니다. 이는 L1(12.6%) 및 L2(6.2%)와 대조적입니다. 이 잔여물은 실패의 원인이 단순히 문서 검색(재현율)의 문제가 아니라, 모든 전제가 주어졌음에도 불구하고 필요한 조직적 도출을 수행하지 못하는 능력의 문제임을 나타냅니다.
• 릴리스 충실도 (Release Fidelity): 프라이빗 세계와 공개된 세계 사이의 176개 쌍을 분석한 결과, 오라클 구성의 거친 순위는 유지되었으나, 배포 가능한 시스템들의 미세한 순위는 변동되었습니다 (Spearman's $\rho = 0.71, p=0.06$). 저자들은 이 릴리스가 그룹 단위의 비교에는 유효하지만, 익명화된 텍스트 표면에 민적한 렉시컬 방식의 경우 미세한 순위 결정에는 한계가 있다고 결론지었습니다.

의의 및 주장

본 논문은 기업용 QA가 문서의 재현뿐만 아니라, 암묵적인 조직적 관계가 사용 가능한 형태로 변환되는지에 달려 있다고 주장합니다.

• 검색을 넘어: 실험 결과는 골드 문서를 제공하는 것이 잠재적 추론 문제를 해결하지 못함을 보여줍니다. "잠재적 관계 과제"는 검색 오류가 제거된 상태에서도 지속됩니다.
• 구조를 일급 객체로 취급: 연구 결과는 기업용 QA 시스템이 문서 이면의 조직을 하나의 '일급 추론 객체'로 취급하여, 분산된 소스 간의 타입화된 관계를 복구하고 다단계 추론을 통해 출처(provenance)를 보존해야 함을 시사합니다.
• 벤치마크의 유용성: ENTLORE는 단순한 문서 검색으로 과제를 축소하지 않고, 잠재적 조직 추론의 발전을 측정할 수 있는 테스트베드를 제공합니다. 벤치마크의 진실(truth)은 비공개로 유지하면서도 그 전제(premises)는 감사 가능하게 함으로써, 암묵적 구조를 추론할 수 있는 시스템을 평가할 수 있게 합니다.

저자들은 릴리스 충실도에 대해 신중한 입장을 유지하며, 벤치마크가 광범위한 그룹에 대한 비교 동작은 보존하지만, 렉시컬 검색의 익명화된 텍스트 표면에 대한 민감도 때문에 배포 가능한 시스템의 구체적인 순위는 달라질 수 있음을 언급했습니다. 이들은 본 벤치마크가 실제 기업 데이터의 "업무 결과물" 특성을 다룰 수 있는 시스템을 평가하기 위한 단계라고 강조합니다.