SQUiD: Synthesizing Relational Databases from Unstructured Text

이 논문은 대규모 언어 모델을 활용하여 비정형 텍스트로부터 스키마를 생성하고 테이블을 채우는 신경 기호적 프레임워크인 SQUiD 를 제안하여 다양한 데이터셋에서 기존 방법들보다 우수한 성능을 보인다고 요약할 수 있습니다.

핵심

🧠 SQUiD: messy 글에서 깔끔한 데이터베이스를 만드는 마법사

안녕하세요! 오늘 소개해 드릴 논문은 **'SQUiD(스쿼드)'**라는 흥미로운 기술에 대한 것입니다. 이름이 바다의 문어 (Squid) 를 닮았지만, 실제로는 대규모 언어 모델 (LLM) 이 문어처럼 여러 다리를 활용해 복잡한 작업을 처리하는 방식을 의미합니다.

이 기술이 해결하려는 문제는 아주 간단하면서도 중요합니다. **"세상의 데이터는 대부분 글 (텍스트) 로 되어 있는데, 컴퓨터는 정돈된 표 (데이터베이스) 를 좋아한다. 이 둘을 어떻게 연결할까?"**입니다.

---

🌊 1. 문제 상황: "글로 된 메모장" vs "정돈된 도서관"

상상해 보세요.

• 현재 상황: 여행사 직원이 "소피아는 6 월 10 일 로마를 여행했고, 제임스도 같은 날 로마를 갔다"라고 메모장에 적어뒀습니다. 이건 **비정형 데이터 (Unstructured Text)**입니다. 컴퓨터는 이걸 보고 "아, 소피아는 34 세고, 제임스는 29 세구나"라고 바로 알 수 없습니다.
• 원하는 상황: 우리는 이 정보를 관계형 데이터베이스라는 정돈된 도서관에 넣고 싶습니다. 여기서는 '여행자'라는 책장에 이름과 나이가, '여행'이라는 책장에 날짜와 장소가 깔끔하게 정리되어 있어야 합니다.

기존에는 이 작업을 사람이 일일이 입력해야 했지만, SQUiD 는 AI 가 자동으로 이 변환을 해줍니다.

---

🐙 2. SQUiD 의 4 단계 마법 (신경 - 기호적 접근법)

SQUiD 는 AI 가 한 번에 모든 걸 하려고 하면 실수 (할루시네이션, 문법 오류 등) 를 많이 저지른다는 것을 알았습니다. 그래서 문어를 4 개의 다리로 나누어 각각의 일을 전문적으로 처리하게 했습니다.

1 단계: 설계도 그리기 (Schema Generation) 🏗️

• 비유: 집을 짓기 전에 **청사진 (설계도)**을 그리는 단계입니다.
• 작업: AI 가 글을 읽으며 "아, 여기에는 '여행자'라는 테이블이 필요하고, '여행'이라는 테이블이 필요해. 그리고 이 두 테이블은 '여행자 ID'로 연결되어야 해"라고 판단합니다.
• 특징: 단순히 테이블만 만드는 게 아니라, **주키 (Primary Key)**와 외래키 (Foreign Key) 같은 규칙을 지켜서 나중에 데이터가 엉키지 않도록 설계합니다.

2 단계: 정보 캐치하기 (Value Identification) 🔍

• 비유: 건설 현장의 작업자들이 자재 (정보) 를 찾아서 분류하는 단계입니다.
• 작업: 글 속에 숨겨진 "소피아", "34 세", "로마", "6 월 10 일" 같은 정보들을 찾아냅니다.
• SQUiD 의 clever 한 점: AI 만 믿지 않고, **기존의 규칙 기반 도구 (Symbolic Tool)**도 함께 사용합니다. AI 가 놓칠 수 있는 작은 단어 (예: '프리미엄 패키지') 도 규칙 도구가 잡아내서 놓치는 정보가 없도록 합니다.

3 단계: 자료 정리하기 (Table Population) 📝

• 비유: 찾아낸 자재를 설계도에 맞춰 각 방 (테이블) 에 배치하는 단계입니다.
• 작업: "소피아"라는 정보는 '여행자' 테이블에, "로마"는 '목적지' 테이블에 넣습니다. 이때 중요한 건 일관성입니다. 소피아가 '여행자' 테이블에 ID 1 번으로 등록되면, '여행' 테이블에서도 소피아가 ID 1 번으로 연결되어야 합니다. SQUiD 는 이 연결고리를 실수 없이 맞춰줍니다.

4 단계: 실제 건축하기 (Database Materialization) 🏢

• 비유: 설계도와 자재 목록을 보고 실제 건물을 짓는 (SQL 코드 생성) 단계입니다.
• 작업: AI 가 직접 "CREATE TABLE..." 같은 복잡한 코드를 짜는 대신, 정해진 규칙에 따라 코드를 자동으로 생성합니다.
• 효과: AI 가 코드를 직접 짜면 문법 오류가 자주 나는데, SQUiD 는 이 단계를 AI 가 아닌 프로그램이 자동으로 처리하게 해서 100% 오류 없는 코드를 만듭니다.

---

🚀 3. 왜 SQUiD 가 특별한가요?

기존의 방법들은 AI 에게 "이 글로 데이터베이스 만들어줘"라고 그냥 시켰습니다. (직접 프롬프팅)

• 결과: AI 가 헷갈려서 "소피아의 나이는 34 세인데, 이메일 주소는 '[e-mail]'으로 만들었어"라고 **틀린 정보 (할루시네이션)**를 넣거나, 문법 오류로 실행이 안 되는 코드를 냅니다.

SQUiD 의 차이점:

1. 분업 시스템: 설계, 정보 추출, 정리, 코딩을 나누어서 각 단계에 최적화된 기술을 썼습니다.
2. 이중 검증: AI 와 규칙 도구를 함께 써서 정보를 놓치지 않습니다.
3. 안전한 코딩: AI 가 코드를 직접 쓰지 않게 해서, 실행 가능한 완벽한 SQL 을 만들어냅니다.

📊 4. 결론: "글"을 "지식"으로 바꾸는 자동화

SQUiD 는 **비정형 텍스트 (글)**를 정형화된 데이터베이스로 바꾸는 새로운 기준을 제시했습니다.

• 의료 기록, 비즈니스 보고서, 학술 논문 등 방대한 글로 된 데이터를 컴퓨터가 바로 분석할 수 있는 형태로 바꿔줍니다.
• 실험 결과, 기존 방법들보다 훨씬 정확하고 오류가 적었습니다.

한 줄 요약:

SQUiD 는 AI 가 문어처럼 여러 다리를 활용해, 엉망진창인 글에서 깔끔한 데이터베이스 설계도를 짜고, 자재를 찾아서, 오류 없이 건물을 짓는 '완벽한 건축가'입니다.

이 기술이 발전하면, 우리가 매일 쓰는 수많은 문서들이 자동으로 정리되어 더 똑똑한 AI 서비스와 분석 도구들이 등장할 수 있을 것입니다! 🌟

기술 요약

1. 문제 정의 (Problem Definition)

현대 데이터 관리의 핵심인 관계형 데이터베이스 (RDB) 는 구조화된 데이터를 기반으로 하지만, 실제 존재하는 데이터의 대부분은 학술 논문, 의료 기록, 비즈니스 보고서 등의 비구조화된 텍스트 형태입니다. 기존 데이터 관리 도구들은 이러한 비구조화 데이터를 직접 분석할 수 없으며, 이를 구조화된 형식으로 변환하는 것은 데이터 관리 커뮤니티의 오랜 과제였습니다.

기존 연구들은 주로 두 가지 영역에 집중했습니다:

1. 텍스트 요약 구조 생성: 텍스트를 표 (Table) 나 마인드맵으로 변환하지만, 이는 관계형 데이터베이스의 표현력과 시맨틱을 갖추지 못합니다.
2. 기존 데이터베이스 조작: 주어진 스키마에 대한 텍스트-to-SQL(Text2SQL) 이나 기존 DB 업데이트에 집중합니다.

SQUiD 가 해결하려는 핵심 문제 (Text2R):
기존의 관계형 데이터베이스가 존재하지 않는 상황에서, 비구조화된 텍스트로부터 **스키마 (Schema) 와 데이터 (Tuple) 를 모두 처음부터 생성 (Synthesize)**하여 실행 가능한 관계형 데이터베이스를 만드는 것입니다. 이 과정은 다음과 같은 고유한 난제를 포함합니다:

• 스키마 복잡성: 엔티티 간 관계를 반영하는 다중 테이블 설계 및 기본키 (PK)/외래키 (FK) 제약 조건 준수.
• 값의 일관성: 동일한 엔티티가 여러 테이블에 걸쳐 일관되게 표현되어야 함.
• 구문 오류: LLM 이 직접 SQL 을 생성할 때 발생하는 문법 오류, 누락된 값, 환각 (Hallucination) 문제.

2. 방법론 (Methodology: SQUiD Framework)

저자들은 **SQUiD (SQL on Unstructured Data)**라는 새로운 신경-심볼릭 (Neurosymbolic) 프레임워크를 제안합니다. 이 프레임워크는 텍스트를 관계형 데이터베이스로 변환하는 작업을 4 개의 모듈화된 단계로 분해하여 각 단계에 특화된 기법을 적용합니다.

단계 1: 스키마 생성 (Schema Generation)

• 목표: 입력 텍스트에서 엔티티와 관계를 추출하여 관계형 스키마 (테이블, 열, PK/FK) 를 정의.
• 기법:
  • LLM 에게 직접 프롬프팅하는 대신, 관계형 데이터베이스 설계의 모범 사례 (3NF 정규화, PK/FK 정의, 예약어 회피 등) 를 인코딩한 Chain-of-Thought (CoT) 프롬프트를 사용합니다.
  • 이를 통해 구조적으로 유효한 JSON 형식의 스키마를 생성하며, 튜플 생성 단계와 분리하여 스키마의 문법적 유효성을 독립적으로 검증합니다.

단계 2: 값 식별 (Value Identification)

• 목표: 텍스트에서 스키마 열에 대응하는 값들을 추출하고 중복을 제거하며, 엔티티 인스턴스별로 그룹화.
• 기법:
  • 트리플릿 (Triplet) 생성:
    1. 심볼릭 트리플릿: Stanford CoreNLP 와 같은 도구를 사용하여 (주어, 관계, 목적어) 형식으로 추출 (LLM 이 놓칠 수 있는 세부 정보 포착).
    2. 스키마 정렬 트리플릿: LLM 을 사용하여 (테이블, 열, 값) 형식으로 추출 (스키마 구조에 부합).
  • 중복 제거: 임베딩과 코사인 유사도를 사용하여 중복된 트리플릿을 제거합니다.
  • 그룹화: 문서의 각 문단을 고유한 식별자 (Superkey) 와 연결하여, 동일한 엔티티 (예: Sophia 와 James) 가 서로 다른 행으로 구분되도록 합니다.

단계 3: 테이블 채우기 (Table Population)

• 목표: 식별된 값들을 생성된 스키마에 맞춰 튜플 (Tuple) 로 구성.
• 기법:
  • 앙상블 학습 접근: 텍스트만, 텍스트+심볼릭 트리플릿, 텍스트+스키마 정렬 트리플릿 등 세 가지 입력 소스를 각각 독립적으로 프롬프트에 넣어 튜플을 생성한 후, 결과를 결합합니다. 이는 컨텍스트 윈도우 포화 문제를 피하고 각 소스의 강점을 활용합니다.
  • 도구 사용 (Tool Use): LLM 이 전체 구조를 한 번에 생성하는 대신, extract 도구를 사용하여 스키마에 맞춰 한 번에 하나의 레코드를 생성하도록 유도하여 포맷 오류를 줄입니다.
  • 참조 무결성 유지: 외래키 (FK) 가 올바른 기본키 (PK) 를 가리키도록 프롬프트 가이드라인을 적용합니다.

단계 4: 데이터베이스 물리화 (Database Materialization)

• 목표: 생성된 구조화된 데이터를 실행 가능한 SQL 문으로 변환.
• 기법:
  • LLM 이 직접 SQL 을 생성하는 대신, 프로그래밍적으로 이전 단계의 구조화된 출력 (CREATE TABLE, INSERT INTO) 을 파싱하여 SQL 문장을 생성합니다.
  • 이 방식은 LLM 의 토큰 소모를 줄이고, 문법적 오류를 제거하여 SQLite 에서 즉시 실행 가능한 데이터베이스를 보장합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 작업 정의 (Text2R): 기존 Text2SQL 과 달리, 사전 정의된 DB 없이 비구조화 텍스트로부터 관계형 DB 를 처음부터 생성하는 새로운 태스크를 정의하고 벤치마크를 구축했습니다.
2. SQUiD 프레임워크: 4 단계 분해와 신경 - 심볼릭 접근법을 통해 스키마 생성, 값 추출, 튜플 구성, SQL 변환의 각 단계에서 최적의 기법을 결합했습니다.
3. 자동화된 평가 방법론: 스키마의 의미적/문법적 품질과 튜플의 정확성을 평가하기 위한 새로운 지표 (Entity Coverage, PK/FK Coverage, Tuple Coverage, Referential Integrity Rate 등) 를 제안했습니다.
4. 광범위한 실험 검증: 다양한 도메인 (관광, 교육, 금융 등) 과 모델 (GPT-4O, Claude, Llama, DeepSeek 등) 을 대상으로 한 실험을 통해 SQUiD 의 우수성을 입증했습니다.

4. 실험 결과 (Results)

• 스키마 품질: CoT 프롬프팅을 사용한 SQUiD 는 직접 프롬프팅 (Direct Prompting) 기반 베이스라인보다 스키마의 문법적 유효성 (PK/FK 정의) 과 의미적 정확도 (Entity Coverage) 에서 일관되게 우위를 보였습니다. 특히 DeepSeek-V2.5 와 Llama-3-8B 에서 높은 성능을 기록했습니다.
• 데이터베이스 생성 성공률 (DBR): SQUiD 는 거의 모든 모델과 난이도에서 100% 의 성공률을 기록한 반면, 베이스라인 (직접 SQL 생성) 은 GPT-4O 의 경우 평균 9.7% 에 불과했습니다.
• 참조 무결성 (RRIR): SQUiD 는 베이스라인 대비 외래키 조인 시 유효한 튜플 비율을 크게 향상시켰습니다 (예: GPT-4O 기준 약 46 배 향상).
• 튜플 및 값 정확도: SQUiD 는 베이스라인 대비 Tuple Coverage, Value Coverage, Column Consistency 에서 모두 획기적인 개선을 보였습니다. 특히 8B 파라미터 모델 (Llama, Qwen) 이 SQUiD 를 사용할 때, 더 큰 모델 (GPT, Claude) 의 베이스라인 성능을 능가하는 결과를 보여주어 프레임워크의 효율성을 입증했습니다.
• 설계 선택의 영향: 심볼릭 도구와 LLM 기반 트리플릿을 결합한 앙상블 방식이 단일 입력 방식보다 성능이 우수함을 확인했습니다.

5. 의의 및 결론 (Significance)

SQUiD 는 비구조화 텍스트를 관계형 데이터베이스로 자동 변환하는 데 있어 LLM 의 언어 이해 능력과 심볼릭 시스템의 구조적 엄격함을 효과적으로 결합한 사례입니다.

• 실용성: 기업이나 연구 기관이 방대한 문서 데이터베이스를 즉시 분석 가능한 관계형 DB 로 전환할 수 있는 길을 열어줍니다.
• 기술적 진보: LLM 이 직접 복잡한 SQL 을 생성할 때 발생하는 환각과 문법 오류 문제를, 신경 - 심볼릭 파이프라인과 프로그래밍적 변환을 통해 해결했습니다.
• 미래 방향: 현재는 중심 엔티티가 있는 단순한 스키마에 국한되어 있지만, 향후 더 복잡한 스키마와 실시간 데이터 소스로의 확장이 기대됩니다.

결론적으로, SQUiD 는 비구조화 데이터의 가치 실현을 위한 강력한 도구로서, 데이터 관리와 자연어 처리 분야의 융합을 선도하는 중요한 연구입니다.