기술적 요약: Beyond Questions (BeQu)

문제 제기

대규모 언어 모델 (LLM) 의 지식을 평가하는 현재의 벤치마크는 사전 정의된 질문 - 답변 (QA) 쌍에 크게 의존합니다. 저자들은 이 패러다임이 근본적인 **가용성 편향 (availability bias)**으로 고통받고 있다고 주장합니다. 즉, 벤치마크 설계자가 명시적으로 조회하도록 선택한 지식만 평가할 수 있다는 것입니다. 결과적으로 이러한 질문의 범위를 벗어난 사실들은 보이지 않게 되며, 그러한 벤치마크에서 높은 성능을 보이는 것이 반드시 광범위하고 일반적인 지식을 의미하는 것은 아닙니다. 더 나아가 기존 QA 벤치마크는 포화 상태, 데이터 유출, 프롬프트 민감성 등의 문제에 직면해 있습니다. 최근 "지식 구체화 (knowledge materialization)"에 관한 연구는 개방형 프롬프트를 통해 지식을 추출하려 시도하지만, 이러한 개방형 지식 유발의 신뢰성, 정밀도, 재현율을 평가할 수 있는 체계적인 프레임워크는 존재하지 않습니다.

방법론: BeQu 벤치마크

본 논문은 고정된 쿼리에 대한 답변 검색에서 벗어나, 개방형 프롬프트 (예: "X 에 대해 알고 있는 모든 것을 알려주세요") 에 자연스럽게 드러나는 지식을 특성화하는 **개방형 지식 평가 (Open Knowledge Evaluation)**라는 패러다임을 제시합니다. 이는 10,000 개의 엔티티와 6GB 의 참조 코퍼스로 구성된 BeQu(Beyond Questions) 벤치마크를 통해 구체화됩니다.

벤치마크 구성

1. 엔티티 선정: 세 가지 하위 집합이 정의됩니다.
   • 무작위 (Random): 길이, 위키데이터 진술 수, 모호성 부재를 기준으로 필터링된 10,000 개의 위키백과 기사를 LLM 판정자 (Llama 4 Scout) 가 정보성과 적합성에 따라 점수화한 것.
   • 도메인 (Domains): 10 개 도메인 (예: 인물, 조직, 사건) 당 100 개의 엔티티.
   • 존재하지 않음 (Non-existent): 환각을 테스트하기 위해 수동으로 생성된 10 개의 가짜 엔티티.
2. 참조 코퍼스 구성: 각 엔티티에 대해 전체 위키백과 기사와 Brave Search API 를 통한 최대 20 개의 웹 문서로 참조 코퍼스를 구축합니다. LLM 은 이러한 소스에서 사실적 삼중항 (주어, 술어, 목적어) 을 추출하여 기준 진실 (ground truth) 로 사용합니다.
3. 평가 프로토콜: 평가는 모델의 출력을 유발된 삼중항 집합으로 간주하고, LLM 판정자를 통한 **텍스트 함의 (Textual Entailment, 자연어 추론)**를 사용하여 이를 참조 코퍼스와 비교합니다.
   • 정밀도 (Precision): 참조 코퍼스에 의해 함의되는 모델 생성 삼중항의 비율을 측정합니다.
   • 재현율 (Recall): 모델 생성 삼중항에 의해 함의되는 참조 삼중항의 비율을 측정합니다.
   • 지표: 함의 정밀도, 재현율, F1 점수.

주요 기여

1. 패러다임 전환: 사전 정의된 QA 쌍을 넘어 개방형 유발을 통한 지식 표현을 평가하는 개방형 지식 평가의 도입.
2. BeQu 벤치마크: 생성된 지식의 정밀도와 재현율 모두를 측정하도록 설계된 10,000 개의 엔티티와 참조 코퍼스를 갖춘 대규모 벤치마크.
3. 실증 분석: 추론 노력, 모델 규모, 프롬프트 형식, 지식 도메인의 효과를 분석한 20 개 모델 (상용 및 오픈소스) 에 대한 포괄적 연구.

실험 결과

1. 모델 순위 및 확장성

• 성능: 상용 모델이 일반적으로 상위 랭킹을 장악합니다 (예: Claude Opus 4.6, Kimi K2.5, Gemini 3 Flash). 다만 몇몇 오픈 가중치 모델이 놀라울 정도로 근접한 성능을 보입니다.
• 확장성: F1 점수는 일반적으로 계열 내 (Anthropic, OpenAI, Google 등) 모델 크기가 커짐에 따라 증가합니다. 그러나 확장 효과는 다양합니다. 더 큰 모델은 종종 더 높은 재현율을 보이지만 때로는 더 낮은 정밀도를 보이기도 합니다.
• 정밀도 - 재현율 프론티어: 명확한 트레이드오프가 존재합니다. 어떤 모델도 동시에 높은 정밀도와 높은 재현율을 달성하지는 못합니다. 모델들은 "높은 정밀도/낮은 재현율" (예: GPT-5 Nano) 또는 "높은 재현율/중간 정밀도" (예: Claude Opus 4.6) 그룹으로 군집화됩니다. 선도적인 F1 점수는 주로 재현율에 의해 주도되며, 이는 제한 요인이 종종 잘못된 사실을 주장하는 것이 아니라 알려진 사실을 주장하지 못하는 모델의 실패임을 시사합니다.

2. 추론 노력

• 미미한 영향: Claude Opus 4.6, GPT-5.4, Gemini 3.1 Pro 와 같은 모델에서 추론 노력 (낮음, 중간, 높음) 을 변화시켜도 전체 F1 점수에 미미한 변화만 발생했습니다 (변동 < 0.05). 이는 사실적 지식이 명시적이고 노력적인 추론 단계를 필요로 하지 않고 대부분 인코딩되어 검색됨을 시사합니다.

3. 도메인 및 환각

• 도메인 변동: 성능은 도메인에 따라 다릅니다. "사건"과 "과학적 개념"이 가장 높은 점수를 기록한 반면, "인물"은 모든 테스트된 모델에서 가장 약했습니다. 이는 주로 낮은 재현율에 기인합니다.
• 환각: 존재하지 않는 엔티티에 대해 GPT-5.4 만 삼중항 생성을 완전히 중단했습니다. 다른 모델들 (DeepSeek V3.2, Llama 4 Scout) 은 상당 수의 삼중항을 환각했습니다.

4. 프롬프트 형식 및 제약

• 스키마 제약: 표준화된 출력 스키마 (예: 위키데이터, Schema.org) 를 강제하면 정밀도가 크게 향상되지만 재현율은 급격히 붕괴됩니다.
• 개방형 vs 제약형: 개방형 프롬프트가 전체적으로 가장 좋은 F1 점수를 냈습니다.
• 술어 목록: 사전 정의된 술어 목록이 정밀도 - 재현율 트레이드오프에서 지배적인 요인이었습니다. 이를 제거하면 정밀도 비용을 modest 하게 치르고 상당한 재현율을 회복할 수 있었습니다.

5. 삼중항 범위

• 체감하는 수익: 엔티티당 요청된 삼중항 수를 늘리면 일정 수준까지 재현율과 F1 이 향상되었습니다 (예: GPT-5.4 는 75~150 개 삼중항에서 정점을 찍음). 그 이후로는 환각으로 인해 성능이 정체되거나 저하되었습니다. 이는 모델들이 작은 출력량으로 제한될 때 완전히 표현되지 않는 잠재적 지식을 보유하고 있음을 나타냅니다.

중요성과 주장

본 논문은 BeQu 가 가용성 편향을 해결하고 지식 표현의 전체 스펙트럼 (모델이 무엇을 알고 무엇을 말하기로 선택하는지) 을 측정함으로써 기존 QA 기반 벤치마크에 필수적인 보완재를 제공한다고 주장합니다.

저자들이 강조한 주요 시사점은 다음과 같습니다.

• 벤치마크 내구성: 개방형 지식 생성은 far from 포화 상태이며, 오픈소스 모델은 이 패러다임에서 상용 모델과 경쟁력이 있습니다.
• "불합리"한 작업: 다른 작업들과 달리 명시적인 추론 노력은 개방형 지식 표현에 미미한 이점만 제공합니다.
• 트레이드오프: 스키마 강제화는 정밀도를 높이지만 재현율을 크게 해치며, 프롬프트를 통해 정밀도를 재현율로 교환하려는 명시적 시도는 제한된 효과만 있습니다.
• 표준화: 저자들은 개방형 지식 평가가 기존 QA 와 함께 LLM 평가의 표준 차원이 되어야 한다고 제안합니다.

저자들은 LLM-as-a-judge(Llama 4 Scout) 에 대한 의존성으로 인한 체계적 편향이 전파될 수 있다는 점과, 계산적 제약으로 인해 대부분의 실험에 표본 추출된 하위 집합 (200 개 엔티티) 을 사용했다는 점 등 한계를 인정합니다.