Are We Asking the Right Questions? On Ambiguity in Natural Language Queries for Tabular Data Analysis

이 논문은 자연어 쿼리의 모호성을 결함이 아닌 사용자와 시스템 간의 협력적 상호작용의 특징으로 재정의하여, 쿼리 해석의 책임 분담을 기반으로 한 새로운 프레임워크를 제시하고 기존 평가 방법의 한계를 지적하며 향후 연구 방향을 제안합니다.

핵심

이 논문은 **"데이터를 분석할 때 우리가 컴퓨터에 질문하는 방식이 정말 올바른가?"**라는 근본적인 질문에서 시작합니다.

기존의 연구들은 사용자가 질문할 때 생기는 '모호함 (Ambiguity)'을 컴퓨터가 해결해야 할 치명적인 오류로 여겼습니다. 하지만 이 논문은 그 관점을 완전히 뒤집습니다. **"모호함은 오류가 아니라, 사람과 컴퓨터가 서로 역할을 나누는 '협업'의 신호"**라고 주장하는 것이 핵심입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴겠습니다.

---

1. 비유: "요리사 (컴퓨터) 와 손님 (사용자)"의 관계

데이터 분석 시스템을 요리사라고 상상해 보세요. 손님이 "맛있는 저녁 메뉴를 주세요"라고 말하면, 요리사는 무엇을 해야 할까요?

• 기존의 생각 (오류로 간주): 손님이 말을 안 했다고 생각해요. "어디서 왔어요? 어떤 재료를 좋아해요? 예산은 얼마예요?"라고 계속 물어보거나, 손님이 원하는 것을 100% 정확히 알아내려고 애를 씁니다. 만약 손님이 "고기 주세요"라고만 하면, 요리사는 "어떤 고기? 소고기? 돼지고기? 구운 거? 튀긴 거?"라고 당황하며 질문을 멈추거나 엉뚱한 것을 내놓습니다.
• 이 논문의 새로운 생각 (협업으로 간주): 손님은 의도만 말하고, 세부 사항은 요리사의 전문성에 맡기는 것입니다.
  • "오늘 날씨가 더우니까 시원한 걸로 해줘." -> 요리사는 '여름'과 '시원함'이라는 맥락을 알고, '냉면'이나 '수박'을 추천합니다.
  • "아이들이 좋아할 만한 걸로." -> 요리사는 '어린이'와 '맛'을 연결해 '치킨'이나 '피자'를 고릅니다.

이 논문은 **"손님이 모든 재료를 다 지시할 필요는 없다. 요리사가 상식과 맥락을 통해 빈칸을 채워주는 것이 진정한 협업이다"**라고 말합니다.

2. 세 가지 질문의 종류 (손님의 주문 방식)

논리는 질문을 세 가지로 나누어 설명합니다.

1. 명확한 주문 (Unambiguous Query):

   • 예: "서울시 강남구 2023 년 7 월 평균 기온을 계산해 줘."
   • 상황: 손님이 모든 것을 다 말해줬습니다. 요리사는 생각할 필요 없이 그대로 요리하면 됩니다.
   • 용도: 컴퓨터가 정확하게 명령을 수행하는지 테스트할 때 좋습니다.

2. 협업형 주문 (Cooperative Query):

   • 예: "서울의 여름 평균 기온은 어때?"
   • 상황: '여름'이 언제인지, '평균'이 평균인지 중앙값인지 명시하지 않았습니다. 하지만 요리사 (시스템) 는 상식 (여름=6~8 월, 평균=산술 평균) 을 적용해 정답을 유추합니다.
   • 용도: 컴퓨터가 사람의 의도를 얼마나 잘 이해하고 추론하는지 테스트할 때 좋습니다.

3. 협업 불가 주문 (Uncooperative Query):

   • 예: "평균 기온은?"
   • 상황: 어디의? 언제의? 어떤 계절의? 정보가 너무 부족합니다. 요리사가 아무리 상식을 써도 정답을 알 수 없습니다.
   • 용도: 컴퓨터가 "이건 답할 수 없어요, 더 말씀해 주세요"라고 거절하거나 질문을 던지는지 테스트할 때 좋습니다.

3. 문제점: 왜 지금의 평가 기준이 잘못된 걸까?

저자들은 15 개의 유명한 데이터 분석 테스트 세트 (벤치마크) 를 조사했습니다. 그리고 충격적인 사실을 발견했습니다.

• 문제 1: "비밀 정보"를 너무 많이 줬다.

  • 많은 테스트 질문들이 "데이터베이스의 'first_name' 컬럼을 찾아줘"처럼, 실제 사용자가 알 수 없는 기술적인 용어를 포함하고 있었습니다.
  • 비유: 요리사 시험에서 "냉장고 3 층에 있는 'A-01' 번호의 고기를 꺼내줘"라고 하는 것과 같습니다. 실제 손님은 냉장고 번호를 모릅니다. 이런 질문은 컴퓨터의 추론 능력을 제대로 평가할 수 없습니다.

• 문제 2: "협업형"과 "명확한" 질문을 섞어 놓았다.

  • 테스트에서 "서울의 여름 기온" (협업형) 과 "서울 2023 년 7 월 기온" (명확한) 을 구분하지 않고 섞어서 평가했습니다.
  • 결과: 컴퓨터가 추론을 잘해서 정답을 맞혔는지, 아니면 단순히 명령을 잘 수행했는지 구분이 안 됩니다. 마치 "요리사가 재료를 고르는 능력"과 "재료를 자르는 능력"을 한 번에 점수 내는 것과 같습니다.

4. 해결책: 앞으로 어떻게 해야 할까?

이 논문의 결론은 다음과 같습니다.

1. 질문을 분류해서 평가하자:

   • 컴퓨터가 명령을 정확히 수행하는지 보려면 **'명확한 주문'**으로만 테스트하세요.
   • 컴퓨터가 사람의 마음을 읽는지 보려면 **'협업형 주문'**으로 테스트하세요.
   • 컴퓨터가 모르는 것을 인정하는지 보려면 **'협업 불가 주문'**을 던져보세요.

2. 실제 상황을 반영하자:

   • 데이터베이스의 숨겨진 구조 (컬럼 이름 등) 를 알 수 없는 **진짜 상황 (Open-domain)**을 가정해야 합니다.

3. 대화를 이어가자:

   • 컴퓨터가 질문을 못 이해했을 때, 무작정 틀린 답을 내거나 멈추는 게 아니라, **"어떤 지역을 말씀하시나요?"**라고 사용자에게 되물으며 대화를 이어가는 시스템을 만들어야 합니다.

요약

이 논문은 **"컴퓨터에게 질문할 때, 우리는 완벽할 필요가 없다. 우리는 의도만 말하고, 컴퓨터는 상식으로 빈칸을 채워주면 된다"**고 말합니다.

지금까지 우리는 컴퓨터가 "완벽한 지시"를 못 받으면 실패한 것으로 봤지만, 이제는 **"사람과 컴퓨터가 서로의 역할을 나누어 문제를 해결하는 것"**을 새로운 기준으로 삼아야 한다고 제안합니다. 마치 요리사와 손님이 서로의 전문성을 믿고 맛있는 요리를 만들어내는 것처럼 말이죠.

기술 요약

1. 문제 제기 (Problem)

표형 데이터 (Tabular Data) 분석을 위한 자연어 인터페이스 (NLQ) 는 본질적으로 사용자의 질의에 내재된 모호성 (Ambiguity) 을 처리해야 합니다. 기존 연구들은 이러한 모호성을 시스템이 해결해야 할 기술적 결함 (Deficiency) 으로 간주하여, 사후 (Post-hoc) 에 이를 탐지, 분류 및 해결하여 단일한 '잠재적 사용자 의도'를 찾아내는 데 집중해 왔습니다.

그러나 저자들은 다음과 같은 문제점을 지적합니다:

• 개방형 도메인 (Open-domain) 의 한계: 고정된 데이터베이스가 아닌 개방형 도메인에서는 사용자가 데이터 구조나 내용을 완벽히 알 수 없으므로, 의도를 완벽하게 명시하는 '플라톤적 질의 (Platonic query)'를 작성하는 것은 비현실적입니다.
• 평가의 왜곡: 기존 벤치마크 (15 개 데이터셋 분석) 는 모호한 질의와 명확한 질의, 그리고 시스템이 해결할 수 없는 질의를 구분하지 않고 혼합하여 평가합니다. 이는 시스템의 실행 정확도 (Execution Accuracy) 와 해석 능력 (Interpretation Capability) 을 혼동하게 만들어, 시스템의 실제 성능을 왜곡하게 됩니다.
• 데이터 특권 (Data-Privilege) 문제: 많은 벤치마크 질의가 사용자가 알 수 없는 데이터 구조 (컬럼 헤더, 특정 ID 등) 를 암시하는 '데이터 특권' 정보를 포함하고 있어, 실제 개방형 환경에서의 성능을 반영하지 못합니다.

2. 방법론 (Methodology)

저자들은 모호성을 결함이 아닌 협력적 상호작용 (Cooperative Interaction) 의 특징으로 재정의하고, 이를 기반으로 한 새로운 프레임워크를 제안했습니다.

• 협력적 질의 프레임워크 (Cooperative Query Framework):

  • 그리스의 협력 원칙 (Grice's Cooperative Principle) 을 적용하여, 사용자와 시스템이 '최소한의 협력 노력 (Least Collaborative Effort)'을 통해 의미를 공유한다고 가정합니다.
  • 질의 유형 분류:
    1. 명확한 협력 질의 (Unambiguous Cooperative Queries): 사용자가 명시하거나 시스템이 상식 (Conventional Grounding) 으로 추론할 수 있어, 시스템이 선택의 여지 없이 하나의 실행 가능한 해석 (Actionable Interpretation) 으로 수렴하는 질의.
    2. 모호한 협력 질의 (Ambiguous Cooperative Queries): 사용자가 일부 정보를 생략하고 시스템에게 선택적 그라운딩 (Selective Grounding) 을 위임하는 질의. (예: "상관관계"를 묻는 경우 피어슨/스피어만 중 선택을 시스템에 맡김). 이는 시스템이 합리적인 추론을 통해 사용자의 의도를 파악해야 함을 의미합니다.
    3. 비협력적 질의 (Uncooperative Queries): 시스템이 해결할 수 없는 정도로 정보가 부족하거나 모호한 질의.
  • 그라운딩 (Grounding) 분업: 질의 해석은 사용자 제공 (User-provided) 과 시스템 추론 (System-inferred) 으로 나뉘며, 시스템은 상식이나 선택적 옵션 제공을 통해 이 역할을 수행합니다.

• 벤치마크 분석 및 평가:

  • 15 개의 주요 테이블 기반 데이터셋 (Text-to-SQL, Tabular QA, Data Analysis 등) 을 대상으로 LLM 기반 분류기를 사용하여 질의 특성을 분석했습니다.
  • 데이터 독립성 (Data-Independence): 질의가 데이터 구조 (Structural References), 특정 값 (Value References), 데이터 컨테이너 (Container References) 에 대한 지식을 암시하는지 평가하여 '데이터 특권' 여부를 판별했습니다.
  • 명확성 평가: 질의가 실행 가능한 단일 해석을 제공하는지 (Unambiguous) 또는 시스템의 추론이 필요한지 (Cooperative) 를 평가했습니다.

3. 주요 기여 (Key Contributions)

1. 모호성에 대한 패러다임 전환: 모호성을 해결해야 할 오류가 아니라, 사용자와 시스템 간의 의도적인 분업 (Intentional Division of Labor) 으로 재개념화했습니다.
2. 협력적 질의 프레임워크 제안: 질의의 명시적 정보와 시스템이 추론해야 할 정보를 구분하여, 질의의 유형 (명확/모호/비협력) 을 체계적으로 분류하는 이론적 기반을 마련했습니다.
3. 현실적인 평가 기준 정립:
   • 실행 정확도 평가: 명확한 질의 (Unambiguous queries) 만 사용해야 함.
   • 해석 능력 평가: 모호한 협력 질의 (Ambiguous cooperative queries) 를 사용하여 시스템의 합리적 추론 능력을 평가해야 함.
   • 강건성 평가: 비협력적 질의 (Uncooperative queries) 를 사용하여 시스템의 처리 능력을 평가해야 함.
4. 벤치마크의 한계 규명: 기존 15 개 데이터셋의 대부분이 '데이터 특권' 질의로 오염되어 있으며, 명확한 질의와 모호한 질의가 혼재되어 있어 시스템 평가에 적합하지 않음을 실증했습니다.

4. 결과 (Results)

• 데이터 특권의 만연: 분석된 데이터셋 중 상당수 (특히 복잡한 분석용 벤치마크) 가 데이터 구조나 내부 값을 직접 언급하는 '데이터 특권' 질의를 포함하고 있었습니다. 이는 개방형 도메인 환경에서는 불가능한 정보로, 시스템이 실제 능력을 발휘하기보다 데이터 구조를 암기하는 것을 장려합니다.
• 명확한 질의의 부재: 대부분의 데이터셋에서 '단일 실행 가능한 해석'을 가진 명확한 질의의 비율은 매우 낮았습니다. 특히 복잡한 분석 (DA-Eval, DA-Code 등) 벤치마크에서는 질의가 데이터 범위 (Data Scope) 가 불명확하여 모호한 경우가 많았습니다.
• 평가의 혼란: 기존 평가 방식은 시스템이 모호한 질의를 어떻게 해석했는지 (해석 능력) 와 질의가 명확할 때 정답을 맞췄는지 (실행 정확도) 를 구분하지 않고 하나의 점수로 합산하여, 시스템의 실제 능력을 왜곡하게 평가했습니다.

5. 의의 및 시사점 (Significance)

• 시스템 설계 방향의 변화: 시스템은 사용자의 불완전한 질의를 단순히 '오류'로 처리하는 것이 아니라, 협력적 파트너로서 상식적 추론이나 선택적 그라운딩을 통해 의도를 파악하고, 필요시 사용자에게 피드백을 요청하는 (Mixed-initiative) 방식으로 설계되어야 합니다.
• 차세대 평가 프로토콜 필요: 단일 정답 (Gold Standard) 에만 의존하는 평가에서 벗어나, 시스템이 제시한 해석의 타당성과 인간과의 정렬 (Alignment) 을 평가하는 유연한 평가 프로토콜이 필요합니다.
• 새로운 벤치마크 구축: 반복적인 질의 수정 (Iterative Query Refinement) 을 지원하고, 다양한 그라운딩 경로를 포함하는 새로운 데이터셋이 필요하며, 이는 개방형 도메인 테이블 분석 시스템의 성숙을 위해 필수적입니다.

결론적으로, 이 논문은 테이블 데이터 분석용 자연어 인터페이스의 발전은 단순한 모호성 해결 기술의 향상이 아니라, 사용자와 시스템 간의 협력적 관계 구축과 이를 반영한 현실적인 평가 체계의 정립에 달려 있음을 강조합니다.