💬 NLP

Querying Structured Data Through Natural Language Using Language Models

이 논문은 RAG 의 한계를 극복하고 상용 하드웨어에서 실행 가능한 자연어 쿼리 생성을 위해 합성 데이터 파이프라인과 QLoRA 기반의 경량화 모델 (DeepSeek R1 Distill 8B) 을 활용한 오픈 소스 방법론을 제시하며, 스페인 두랑갈데아 지역의 필수 서비스 접근성 데이터에 대한 다국어 및 미관측 시나리오에서 높은 정확도와 일반화 능력을 입증했습니다.

원저자: Hontan Valentin-Micu, Bunea Andrei-Alexandru, Tantaroudas Nikolaos Dimitrios, Popovici Dan-Matei

게시일 2026-04-06

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hontan Valentin-Micu, Bunea Andrei-Alexandru, Tantaroudas Nikolaos Dimitrios, Popovici Dan-Matei

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"복잡한 숫자 데이터도 자연스러운 말로 질문하면, AI 가 바로 답을 찾아주는 방법"**을 소개합니다.

기존의 AI 기술 (RAG) 이 텍스트 위주로 작동하다 보니, 숫자나 표 같은 '구조화된 데이터'를 다룰 때 약점을 보였습니다. 이 논문은 그 문제를 해결하기 위해 작지만 똑똑한 AI를 만들어낸 이야기를 담고 있습니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제: "숫자 장부"를 읽지 못하는 AI

기존의 AI 비서 (RAG 방식) 는 방대한 **책장 (문서)**을 가지고 있습니다. 사용자가 "가장 가까운 병원까지 차로는 몇 분 걸려?"라고 물으면, AI 는 책장에서 비슷한 문장을 찾아서 답을 줍니다.

하지만 만약 질문이 **"스페인 북부 시골 마을에서 병원까지 자전거로 10 분 이내인 곳, 그리고 슈퍼마켓까지 5 분 이내인 곳을 찾아줘"**라면?

책장에는 이런 구체적인 숫자 데이터가 없습니다.
AI 는 "모르겠어요"라고 하거나, 엉뚱한 이야기를 지어낼 수 있습니다.
마치 도서관 사서에게 "이 도서관의 모든 책 중 페이지 수가 300 장 이상인 책만 찾아줘"라고 했을 때, 사서가 책장을 훑어보며 숫자를 세지 못하고 당황하는 상황과 같습니다.

2. 해결책: "직접 계산하는" 작은 AI

저자들은 이 문제를 해결하기 위해 AI 비서에게 '계산기'와 '지도 앱'을 직접 다룰 수 있는 능력을 가르쳤습니다.

기존 방식 (큰 AI): 거대한 두뇌 (수조 개의 파라미터) 를 가진 AI 에게 모든 정보를 주입하고, 그걸로 답을 찾으려 했습니다. 하지만 이 AI 는 너무 무거워서 일반 컴퓨터에서 돌리기 어렵고, 비용도 비쌉니다.
이 논문의 방식 (작은 AI):
1. 작은 두뇌 (DeepSeek R1-Distill-8B): 일반 게이밍 그래픽카드 (RTX 3090) 정도만 있으면 작동하는 가벼운 AI 를 선택했습니다.
2. 특수 훈련 (Synthetic Data): 이 AI 가 처음부터 숫자 데이터를 다룰 줄 몰랐습니다. 그래서 저자들은 인공지능 (더 큰 AI) 을 이용해 가상의 질문과 정답을 수만 개 만들어냈습니다.
  - 비유: 마치 요리 학교에서, 학생 (작은 AI) 이 직접 재료를 고르고 요리하는 법을 배우게 하기 위해, 선배 (큰 AI) 가 수천 가지 레시피와 실수 사례를 만들어 교재로 만들어준 것과 같습니다.
3. 실행 능력: 이 훈련을 받은 AI 는 사용자의 질문을 듣고, 바로 **데이터베이스에 명령을 내리는 코드 (SQL 등)**를 작성합니다. 그 코드를 실행해 정확한 숫자를 얻은 뒤, 그 결과를 바탕으로 사용자에게 자연스러운 말로 답을 줍니다.

3. 핵심 기술: "QLoRA"라는 효율적인 학습법

이 작은 AI 를 훈련시킬 때, 전체를 다시 가르치면 시간이 너무 오래 걸립니다. 그래서 QLoRA라는 기술을 썼습니다.

비유: AI 는 거대한 백과사전입니다. 모든 페이지를 다시 적는 대신, **특정 주제 (예: 병원 접근성) 에만 해당하는 몇 장의 부록 (Adapters)**만 새로 만들어 붙이는 방식입니다. 이렇게 하면 메모리도 적게 쓰고, 훈련도 빠르게 끝납니다.

4. 결과: 작지만 강력한 성능

이 시스템을 스페인 북부 시골 지역 (두랑갈데아) 의 데이터에 적용해 봤습니다.

성공: 사용자가 "가장 가까운 약국은 어디야?"라고 물으면, AI 는 지도 좌표를 계산해 "차로 3 분 거리인 OO 약국입니다"라고 정확히 답했습니다.
다국어 지원: 영어뿐만 아니라 스페인어, 카탈로니아어 등 여러 언어로도 잘 작동했습니다. (바스크어는 조금 어려웠는데, 이는 학습 데이터에 그 언어가 부족해서였습니다.)
비교: 거대하고 비싼 상용 AI 들과 비교해도 정확도가 거의 비슷했습니다.

5. 왜 이것이 중요한가요?

이 연구는 **"거대하고 비싼 AI 가 아니어도, 특정 분야의 문제를 해결할 수 있다"**는 것을 증명했습니다.

비용 절감: 데이터센터급 슈퍼컴퓨터가 아니라, 일반 사무실의 컴퓨터로도 작동합니다.
개인화: 어떤 조직이든 자신들의 데이터 (표, 숫자, 지리 정보 등) 에 맞춰 작은 AI 를 훈련시켜 쓸 수 있습니다.
신뢰성: AI 가 지어낸 답변이 아니라, 실제 데이터를 계산한 정확한 답을 줍니다.

요약

이 논문은 **"복잡한 숫자 데이터를 다루는 AI 비서를, 거대한 슈퍼컴퓨터 없이도 일반 컴퓨터에서 가볍게, 그리고 정확하게 만들 수 있다"**는 새로운 방법을 제시합니다. 마치 거대한 도서관 사서 대신, 계산기와 지도를 들고 다니는 똑똑한 동네 친구를 만든 것과 같습니다.

논문 요약: 자연어 기반 구조화 데이터 질의 및 언어 모델 활용

1. 문제 정의 (Problem Setting)

기존의 대규모 언어 모델 (LLM) 기반 시스템은 검색 증강 생성 (RAG, Retrieval-Augmented Generation) 방식을 주로 사용합니다. 그러나 RAG 는 비정형 텍스트 데이터에는 효과적이지만, 수치적 데이터나 고도로 구조화된 정보 (예: 지리적 좌표, 이동 시간, 통계치) 를 다룰 때는 한계가 명확합니다.

RAG 의 한계: 벡터 임베딩 기반의 유사도 검색은 수치적 정확도나 구조화된 관계 (예: "병원까지 자동차로 10 분 이내인 작은 마을") 를 정밀하게 추출하는 데 실패합니다.
기존 대안의 문제: 수천억~수조 개의 파라미터를 가진 초대규모 상용 모델 (GPT-4 등) 은 긴 컨텍스트 윈도우를 통해 스키마를 이해할 수 있으나, 높은 운영 비용, 데이터 프라이버시 문제, 그리고 고사양 하드웨어 요구사항으로 인해 실제 배포가 어렵습니다.
목표: 폐쇄형 모델이나 고비용 인프라 없이, 상용 하드웨어 (Consumer-grade GPU) 에서 실행 가능한 오픈소스 기반의 경량 LLM 을 통해 구조화된 데이터에 자연어로 질의하고 실행 가능한 쿼리를 생성하는 방법론을 제시하는 것입니다.

2. 제안된 방법론 (Methodology)

저자들은 RAG 대신 모델이 실행 가능한 쿼리를 직접 생성하는 (Executable Query Generation) 접근법을 채택했습니다. 전체 파이프라인은 다음과 같습니다.

핵심 아키텍처:
- 모델: DeepSeek R1-Distill-8B(약 80 억 파라미터) 를 기반으로 한 경량 모델 사용.
- 학습 방식: QLoRA(4-bit 양자화) 를 적용하여 단일 NVIDIA RTX 3090 GPU(24GB) 에서 미세 조정 (Fine-tuning) 수행.
- 작동 원리: 사용자의 자연어 질문을 받으면 모델이 먼저 데이터베이스 쿼리 (API 호출) 를 생성 $\rightarrow$ 쿼리 실행 및 결과 획득 $\rightarrow$ 결과를 컨텍스트에 주입하여 최종 답변 생성.
합성 데이터 생성 파이프라인 (Synthetic Data Generation):
- 도메인별 전문 데이터셋은 학습용 질문 - 답변 쌍이 부족합니다. 이를 해결하기 위해 저자들은 원칙적인 합성 데이터 생성 프로세스를 도입했습니다.
- 데이터베이스의 테이블과 속성 (Projection) 을 분석하여 템플릿을 생성하고, Gemini 2.5 Pro 및 DeepSeek R1 같은 대형 모델을 활용해 다양한 의미적 해석과 문법적 변형 (Paraphrasing) 을 포함한 44,849 개의 질문 - 답변 쌍을 자동 생성했습니다.
- 각 질문에는 정답뿐만 아니라 해당 값을 계산하는 정확한 API 호출 코드도 포함시켜 모델이 쿼리 생성과 실행 흐름을 학습하도록 했습니다.
적용 데이터셋: 스페인 두랑갈데아 (Durangaldea) 지역의 필수 서비스 (병원, 마트 등) 접근성 데이터 (지리적 좌표 및 이동 시간) 를 활용했습니다.

3. 주요 기여 (Key Contributions)

경량 모델의 고정밀 성능: 수백 억 파라미터 규모의 상용 모델 없이, 80 억 파라미터 규모의 오픈소스 모델만으로도 구조화된 데이터 질의에서 높은 정확도를 달성함을 증명했습니다.
자동화된 합성 데이터 생성: 도메인별 학습 데이터가 없는 상황에서도, 데이터베이스 스키마를 기반으로 한 체계적인 합성 데이터 생성 파이프라인을 통해 모델 학습을 가능하게 했습니다.
상용 하드웨어 배포 가능성: QLoRA 와 4-bit 양자화를 통해 고가의 데이터센터 GPU(A100 등) 없이도 일반 소비자용 GPU(RTX 3090) 에서 학습 및 추론이 가능함을 입증했습니다.
확장성 있는 아키텍처: 단일 베이스 모델에 다양한 도메인별 어댑터 (Adapter) 를 연결하여 여러 데이터셋을 지원하는 멀티-데이터셋 시스템 구축 가능성을 제시했습니다.

4. 실험 결과 (Evaluation Results)

두랑갈데아 접근성 데이터셋을 기반으로 한 평가 결과는 다음과 같습니다.

정확도 (Exact Match):
- 미관측 위치 (Unseen Locations): 89.0% (새로운 지리적 데이터에 대한 강력한 일반화 능력 입증).
- 의미적 변형 (Semantic Variants): 94.2% (질문 표현이 달라도 정확한 쿼리 생성).
- 전체 데이터셋: 80.0% (다국어 포함 시 감소, 영어 단일 언어 기준 85.0%).
다국어 지원: 스페인어, 카탈로니아어, 갈리시아어, 프랑스어에서 높은 성능을 보였으나, 바스크어 (Basque) 의 경우 기초 모델의 학습 데이터 부족으로 성능이 저하되었습니다.
SOTA 모델 대비 성능: GPT-4, Gemini, Grok 등 초대규모 상용 모델 (Zero-shot 설정) 과 비교했을 때, 제안된 모델은 94.2% 의 정확도로 97~98% 대의 최첨단 모델들과 경쟁력 있는 성능을 보였습니다.
성능 지표: BLEU-4 와 ROUGE-L 점수가 매우 높게 나와 (0.98 이상), 생성된 쿼리의 구문적 정확도와 정보 보존율이 우수함을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

자원 제약 환경에서의 실용성: 이 연구는 고비용의 폐쇄형 LLM 에 의존하지 않고, 오픈소스 경량 모델과 합성 데이터만으로 전문적인 데이터 분석 도구를 구축할 수 있음을 증명했습니다. 이는 예산이 제한된 기관이나 개인정보 보호가 중요한 환경에서 매우 중요합니다.
RAG 의 대안 제시: 수치 및 구조화 데이터 처리에 있어 RAG 의 한계를 극복하고, Tool-use(도구 사용) 패러다임을 통해 정확한 데이터 추출 및 추론을 가능하게 했습니다.
미래 전망: 현재는 단일 도메인에 최적화되어 있으나, 향후 온톨로지 (Ontology) 기반의 도메인 추상화와 결합하여 다양한 데이터셋을 아우르는 범용 시스템으로 확장할 수 있는 가능성을 제시했습니다.

이 논문은 작은 모델이 잘 정의된 도메인에서 어떻게 높은 정밀도와 신뢰성을 발휘할 수 있는지에 대한 강력한 사례를 제공하며, 자연어 인터페이스를 통한 데이터 접근의 민주화를 앞당기는 중요한 기술적 통찰을 담고 있습니다.