CommonWhy: A Dataset for Evaluating Entity-Based Causal Commonsense Reasoning in Large Language Models

기술적 요약: CommonWhy

문제 제기
대규모 언어 모델 (LLM) 은 사실적 지식과 일반적인 상식을 인코딩하는 데 능숙함을 입증해 왔으나, 실세계의 인과 관계 및 제약 조건과 관련된 개체 기반 상식 추론 능력은 여전히 충분히 평가되지 않고 있습니다. 기존 개체 기반 추론 벤치마크 (예: StrategyQA, CREAK) 는 주로 연역적 검증이나 패턴 매칭을 테스트하는 True/False 또는 객관식 형식에 의존합니다. 이러한 데이터셋은 "왜"라는 질문에 답할 때 귀납적 추론(최고의 설명에 대한 추론) 능력을 명시적으로 평가하지 못합니다. 또한 지식 그래프 질문 답변 (KGQA) 데이터셋이 존재하지만, 이들은 주로 사실성 검색이나 다중 홉 사실 체이닝에 초점을 맞추고 있어, 사실적 지식과 암묵적인 상식 가정을 통합하여 인과적 설명을 생성해야 한다는 요구사항이 결여되어 있습니다.

방법론
저자들은 개체 기반 인과적 상식 추론을 평가하기 위해 설계된 15,000 개의 "왜" 질문으로 구성된 CommonWhy 데이터셋을 소개합니다. 데이터셋 구축은 다음 세 단계 파이프라인을 따릅니다:

1. 공리 생성: 단순 검색으로 답변 가능한 질문을 초래하는 추출 기반 방법의 한계를 극복하기 위해, 저자들은 LLM(GPT-5.1) 을 활용하여 "리프트 (lifted)"된 상식 공리를 생성합니다. 기존 데이터셋 (StrategyQA, CREAK, CoLoTa) 에서 추출된 공리 세트를 시드 (seed) 로 하여, LLM 에게 이를 창의적으로 확장하여 새로운 인과 구조를 생성하도록 프롬프트를 입력합니다. 이렇게 생성된 공리는 인간 어노테이터에 의해 엄격하게 필터링되어 인간 상식과 부합하는지 확인합니다.
2. 쿼리 생성: 검증된 공리는 추상적인 질문 - 답변 쌍으로 재작성됩니다. 이후 Wikidata 지식 그래프의 구체적 개체로 추상 변수를 인스턴스화하여 이를 구체화합니다. 저자들은 SPARQL 쿼리를 사용하여 공리의 특정 사실적 제약을 만족하는 개체를 검색하여, 모든 필요한 사실적 지식이 Wikidata 내에 존재하도록 보장합니다. 생성된 쿼리는 유창한 자연어 "왜" 질문으로 재작성됩니다.
3. 다중 답변 어노테이션: 실세계의 인과적 효과는 종종 여러 가지 유효한 설명을 허용한다는 점을 인식하여, 데이터셋은 다중 답변 형식을 채택합니다. 인간 어노테이터는 각 쿼리에 대해 관련 Wikidata 서브그래프를 검토하여 사실과 상식 가정에 의해 지지되는 모든 타당한 인과적 설명을 식별합니다. 여러 어노테이터가 동의한 원인만이 기준 정답 (ground truth) 으로 유지됩니다.

데이터셋은 개체 인기도 (Wikidata 트립 수) 를 기반으로 Head와 Long-Tail 하위 집합으로 분할되어, 서로 다른 수준의 개체 친숙도 전반에 걸친 모델의 견고성을 평가합니다.

주요 기여

• CommonWhy 데이터셋: 귀납적, 개체 기반 인과 추론을 평가하기 위해 특별히 설계된 최초의 대규모 데이터셋입니다. 이는 사실적 검색과 암묵적 인과 추론을 결합해야 하는 모델을 요구함으로써 상식 추론과 KGQA 간의 간극을 메웁니다.
• 새로운 KGQA 패러다임: 사실 검색을 테스트하는 기존 KGQA 벤치마크와 달리, CommonWhy 는 지식 그래프에 대한 설명 기반 추론을 위한 벤치마크를 확립하며, 여기서 답변은 KG 사실과 상식 공리를 종합해야 합니다.
• 다중 답변 기준 정답: 데이터셋은 각 쿼리에 대해 여러 가지 유효한 기준 정답을 제공함으로써 인과 추론의 비유일적 성격을 명시적으로 모델링하여, 단일 답변 제약에서 벗어납니다.

실험 결과
저자들은 CommonWhy 에서 최첨단 LLM(GPT-5.1, Gemini-2.5-Flash, Llama-3.3-70B, OpenAI-o3, DeepSeek-V3.2 포함) 과 LLM 기반 KGQA 방법 (KB-Binder, KGR) 을 평가했습니다. 주요 발견 사항은 다음과 같습니다:

• 추론 한계: 가장 강력한 추론 모델조차도 이 작업에서 어려움을 겪습니다. 가장 성능이 좋은 모델인 OpenAI-o3 는 Head 분할에서 약 68%, Long-Tail 분할에서 약 67% 의 정확도만 달성했습니다. 다른 모델들은 훨씬 더 낮은 성능을 보였습니다 (예: DeepSeek-V3.2 는 약 41%).
• 지표 불일치: 표준 장형 생성 지표 (BERTScore, ROUGE-L, METEOR) 는 인과적 정확도의 나쁜 지표임이 밝혀졌습니다. Gemini-2.5-Flash 와 같은 모델은 높은 어휘 유사성 점수를 얻었으나 논리적 정확도는 낮았는데, 이는 표면적 유창성이 유효한 귀납적 추론과 동일하지 않음을 시사합니다.
• 개체 인기도 영향: 성능은 Head 개체에서 Long-Tail 개체로 이동할 때 일관되게 저하되어, 기본 추론 패턴이 동일하더라도 개체 인기도가 추론 견고성에 영향을 미친다는 것을 확인했습니다.
• 할루시네이션: 모델이 논리적으로 올바른 답변을 생성했을지라도, FActScore 로 측정된 바와 같이 종종 사실적 할루시네이션(지지되지 않는 원자적 주장) 을 나타냈습니다. 이 문제는 Long-Tail 개체의 경우 더 두드러졌습니다.
• KGQA의 부적절성: 기존 KGQA 방법은 이 작업에 적응하지 못했습니다. 쿼리를 SPARQL 로 변환하는 KB-Binder 는 SPARQL 이 "왜" 질문에 필요한 암묵적 상식을 포착할 수 없기 때문에 성능이 저조했습니다. KGR 은 직접 프롬프팅보다 유의미한 개선을 보이지 않아, 현재 파이프라인이 귀납적 인과 추론에는 불충분함을 시사합니다.

의의
이 논문은 CommonWhy 가 현재 LLM 능력의 중요한 격차를 드러낸다고 주장합니다. 기존 연역적 또는 검증 기반 상식 벤치마크에서의 성공은 개체 기반 환경에서의 귀납적 인과 추론으로 이전되지 않습니다. 사실적 지식 (Wikidata) 이 필요하지만 상식 추론 없이는 불충분한 벤치마크를 확립함으로써, CommonWhy 는 향후 연구를 위한 도전적인 테스트베드를 제공합니다. 이는 사실 검색에서 설명 기반 추론으로 KGQA 평가를 전환하는 것을 표시하며, 실세계와 효과적으로 상호작용하기 위해 사실적 검색과 암묵적 인과 추론을 통합할 수 있는 새로운 방법의 필요성을 강조합니다.