ASTRA: Adaptive Semantic Tree Reasoning Architecture for Complex Table Question Answering

이 논문은 복잡한 테이블 질문 답변에서 구조적 한계를 극복하기 위해 LLM 의 글로벌 의미 인식력을 활용한 논리적 의미 트리 재구성과 이중 모드 추론 프레임워크를 결합한 ASTRA 를 제안하여 최첨단 성능을 달성했다고 요약할 수 있습니다.

핵심

🌳 ASTRA: 복잡한 표 (Table) 를 이해하는 새로운 지혜

이 논문은 **"ASTRA"**라는 새로운 인공지능 시스템을 소개합니다. 이 시스템은 우리가 일상에서 마주치는 복잡한 표 (예: 은행 명세서, 항공사 요금표, 통계 보고서 등) 를 읽고 질문에 답하는 데 있어, 기존 인공지능들이 겪던 큰 한계를 해결합니다.

비유하자면, ASTRA 는 표를 읽는 '독서법'을 완전히 바꾼 혁신적인 도서관 사서와 같습니다.

---

1. 왜 기존 인공지능은 표를 못 읽을까? (기존의 문제점)

기존의 대형 언어 모델 (LLM) 들은 표를 볼 때 마치 복잡한 건축 도면을 한 줄의 텍스트로 읽으려는 사람과 같습니다.

• 구조를 무시함 (Structural Neglect): 표는 '상위 카테고리 > 하위 카테고리 > 세부 항목'처럼 계층 구조를 가지고 있습니다. 하지만 기존 AI 는 이를 그냥 나열된 글자 나열로만 봐서, "어떤 숫자가 어떤 제목에 속하는지"를 헷갈려 합니다.
• 표현의 괴리 (Representation Gap): 표는 2 차원 (가로, 세로) 으로 되어 있는데, AI 는 1 차원 (줄글) 로만 이해합니다. 마치 3 차원 입체 그림을 평면 사진으로만 보고 입체감을 느끼지 못하는 것과 같습니다.
• 계산 실수 (Reasoning Opacity): AI 가 직접 숫자를 더하거나 빼려고 하면, 마치 머릿속으로 계산하는 사람처럼 실수를 자주 합니다. "1234 + 5678"을 계산할 때 틀리는 경우가 많죠.
• 형식에 꽂혀 있음 (Schema Inflexibility): 표의 모양이 조금만 달라져도 (예: 셀이 합쳐지거나, 제목이 여러 줄로 나뉘면) AI 는 당황해서 엉뚱한 답을 내놓습니다.

2. ASTRA 의 해결책: 두 가지 핵심 기술

ASTRA 는 이 문제를 해결하기 위해 두 가지 단계로 이루어진 독특한 방식을 사용합니다.

① 단계 1: 표를 '생각의 나무'로 재구성 (AdaSTR)

기존 AI 가 표를 '줄글'로 읽는다면, ASTRA 는 표를 나무 (Tree) 구조로 다시 만듭니다.

• 비유: 복잡한 표를 **가족 나무 (Family Tree)**처럼 재구성하는 것입니다.
  • 가장 위에 '가장 (Grandfather)'이 있고, 그 아래에 '아들', '딸'이 있고, 다시 그 아래에 '손자'들이 매달려 있습니다.
  • ASTRA 는 표의 복잡한 제목과 데이터 관계를 분석하여, **"이 숫자는 이 제목의 하위 항목이다"**라는 관계를 명확하게 나무 가지처럼 연결합니다.
  • 적응형 (Adaptive): 표가 작으면 직접 다 쓰고, 표가 너무 크면 "여기는 A1 셀에 있습니다"라고 주소만 적어두는 등, 표의 크기에 따라 가장 효율적인 나무 구조를 자동으로 선택합니다.

② 단계 2: 두 가지 방식으로 답을 찾기 (DuTR)

나무로 만든 표를 보고 답을 찾을 때, ASTRA 는 두 가지 방법을 동시에 사용합니다.

• 방법 A: 언어적 탐색 (Textual Navigation)
  • 비유: 도서관 사서가 책장 (나무 구조) 을 훑어보며 질문과 관련된 책을 찾아내는 방식입니다.
  • "어떤 항목이 가장 비싼가요?" 같은 질문에는 나무를 따라가며 의미 (Semantic) 를 이해하고 답을 찾습니다.
• 방법 B: 기호적 계산 (Symbolic Execution)
  • 비유: 사서가 **계산기 (Python 코드)**를 꺼내 정확한 계산을 하는 방식입니다.
  • "모든 항목의 합계는 얼마인가요?" 같은 계산이 필요한 질문에는, 나무 구조를 컴퓨터가 실행 가능한 코드로 바꿔서 정확한 계산을 수행합니다. AI 가 직접 계산하는 실수를 방지합니다.

마지막으로, 이 두 가지 방법으로 나온 답을 비교하여 가장 정확한 답을 선택합니다.

3. ASTRA 가 왜 특별한가? (성공 사례)

이 논문은 ASTRA 가 기존 최고 수준의 모델들보다 훨씬 뛰어난 성능을 보인다고 말합니다.

• 예시: "고정 비용 (Fixed Expenses) 에 포함된 항목은 몇 개인가요?"라는 질문이 있다고 칩시다.
  • 기존 AI: 표의 구조를 제대로 못 봐서, '고정 비용'이라는 제목 자체를 하나의 데이터로 착각하거나, 중요한 항목을 놓쳐서 틀린 답을 냅니다.
  • ASTRA: 나무 구조를 통해 "고정 비용"이라는 가지 아래에 어떤 잎 (데이터) 들이 달려있는지 정확히 파악하고, 코드로 세어 정확한 개수를 알려줍니다.

4. 요약: ASTRA 의 핵심 메시지

이 연구는 **"인공지능이 표를 잘 이해하려면, 표를 단순히 글자로 나열하는 게 아니라, 논리적인 '나무 구조'로 재구성해야 한다"**는 것을 증명했습니다.

• 나무 구조 (Semantic Tree): 표의 숨겨진 계층 관계와 의미를 명확하게 보여줍니다.
• 이중 모드 (Dual-Mode): 언어적 이해 (유연함) 와 코드 실행 (정확함) 을 모두 활용합니다.

결론적으로, ASTRA 는 인공지능이 복잡한 데이터를 다룰 때 구조를 이해하고, 논리적으로 사고하며, 정확하게 계산할 수 있게 해주는 새로운 표준을 제시합니다. 마치 복잡한 건축 도면을 한 줄로 읽는 대신, 3 차원 모델로 이해하게 해주는 것과 같습니다.

기술 요약

1. 문제 정의 (Problem)

대규모 언어 모델 (LLM) 은 자연어 처리 분야에서 뛰어난 성과를 보이지만, 복잡한 테이블 질문 답변 (Complex TableQA) 작업에서는 여전히 한계를 겪고 있습니다. 특히 계층적 헤더, 병합 셀, 불규칙한 레이아웃을 가진 테이블을 처리할 때 다음과 같은 4 가지 주요 병목 현상이 발생합니다.

1. 구조적 무시 (Structural Neglect): 복잡한 테이블의 계층적 관계와 시맨틱 의존성을 LLM 이 간과하여, 헤더와 데이터 간의 논리적 연결이 끊어집니다.
2. 표현 격차 (Representation Gap): 2 차원 구조의 테이블을 LLM 이 처리할 수 있는 1 차원 시퀀스로 변환하는 과정에서 미세한 증거 (fine-grained evidence) 를 정확히 위치시키지 못합니다.
3. 추론의 불투명성 (Reasoning Opacity): LLM 이 테이블 내 수치 계산을 직접 수행할 때, 블랙박스 방식으로 작동하여 검증 불가능한 수치 환각 (hallucination) 이 발생합니다.
4. 스키마의 경직성 (Schema Inflexibility): 기존 규칙 기반 파싱 방법들은 비정형적이고 다양한 레이아웃에 적응하지 못해 일반화 성능이 떨어집니다.

기존의 그래프 기반 (Triples) 이나 단순 트리 기반 방법들은 이러한 문제들을 동시에 해결하지 못했습니다.

2. 방법론 (Methodology)

저자들은 ASTRA (Adaptive Semantic Tree Reasoning Architecture) 를 제안하며, 이는 두 가지 핵심 모듈로 구성됩니다.

2.1 AdaSTR: 적응형 시맨틱 트리 재구성 (Adaptive Semantic Tree Reconstruction)

테이블을 LLM 이 이해하기 쉬운 Logical Semantic Tree로 변환하는 모듈입니다.

• 헤더 정규화 및 계층 식별: LLM 의 글로벌 시맨틱 인식을 활용하여, 헤더의 수직적 의존성을 통합하고 (예: Yukon + Percent → Yukon-Percent), 숨겨진 시맨틱 그룹을 추출하여 명시적인 계층 구조를 정의합니다.
• 적응형 트리 합성 전략: 테이블의 규모와 토큰 밀도에 따라 3 가지 전략을 동적으로 선택합니다.
  • DSP (Direct Semantic Parsing): 중소규모 테이블에 대해 LLM 이 직접 트리를 생성.
  • SRE (Symbolic Reference Encoding): 텍스트가 많은 테이블의 경우, 셀 주소 (예: C7) 를 플레이스홀더로 사용하여 토큰 오버헤드를 줄이고 구조적 정밀도를 유지.
  • PSS (Programmatic Structure Synthesis): 대규모 반복 구조 테이블의 경우, 루프 기반 스크립트를 생성하여 확장성 확보.
• 평가자 주도 정제 루프 (Evaluator-Guided Refinement Loop): 생성된 트리의 구조적 무결성 (경로 일관성) 과 정보 커버리지 (데이터 누락 여부) 를 검증하여 오류가 발견되면 LLM 에게 재구성을 지시합니다.

2.2 DuTR: 듀얼 모드 트리 추론 (Dual-Mode Tree Reasoning)

생성된 시맨틱 트리를 기반으로 답변을 도출하는 추론 엔진입니다.

• 적응형 트리 탐색 (Adaptive Tree Navigation): 질문의 특성에 따라 리프 - 루트 (Leaf-to-Root) 또는 루트 - 리프 (Root-to-Leaf) 탐색 전략을 선택합니다.
  • 리프 - 루트: 분산된 데이터 포인트를 집계하는 질의에 유리.
  • 루트 - 리프: 정확한 국소적 증거가 필요한 질의에 유리.
• 기호적 트리 조작 (Symbolic Tree Manipulation): 복잡한 논리나 수치 계산이 필요한 경우, LLM 이 Python 코드를 생성하여 실행 가능한 환경 (Sandbox) 에서 정확한 계산을 수행합니다. 오류 발생 시 자가 수정 (Self-Correction) 루프를 통해 코드를 재생성합니다.
• 적응형 답변 선택 (Adaptive Selection): 텍스트 기반 추론 결과와 기호적 (코드) 추론 결과 중 가장 신뢰할 수 있는 답변을 선택하는 경량 LLM 을 활용합니다.

3. 주요 기여 (Key Contributions)

1. 복잡한 테이블 QA 의 핵심 병목 현상 식별: 구조적 무시, 표현 격차, 추론 불투명성, 스키마 경직성이라는 4 가지 도전을 명확히 정의하고, 이를 해결하기 위한 시리얼라이제이션의 필요 조건 (Desiderata) 을 도출했습니다.
2. AdaSTR 및 DuTR 프레임워크 제안: LLM 의 시맨틱 인식을 활용한 적응형 트리 재구성 (AdaSTR) 과 텍스트 - 기호 하이브리드 추론 (DuTR) 을 통합하여, 높은 정확도와 해석 가능성을 동시에 달성했습니다.
3. SOTA 성능 달성: 여러 벤치마크 (AIT-QA, HiTab, SSTQA) 에서 기존 최첨단 모델 (OpenAI o3 등) 과 방법론들을 능가하는 성능을 보여주었으며, 다양한 테이블 형식에 대한 강력한 일반화 능력을 입증했습니다.

4. 실험 결과 (Results)

• 성능: ASTRA 는 HiTab 데이터셋에서 **90.1%**의 정확도를 기록하여, 강력한 추론 모델인 OpenAI o3(85.3%) 보다 높은 성능을 보였습니다.
• 추론 모드 비교:
  • 텍스트 추론: 의미론적 뉘앙스를 이해하는 데 강점이 있어 SSTQA(의미 중심) 에서 우수함 (79.8%).
  • 기호 추론: 수치 집계 및 정밀 계산에 강점이 있어 HiTab(수치 중심) 에서 압도적 성능 (89.3%).
  • 적응형 선택: 두 모드를 결합하여 모든 벤치마크에서 최적의 성능을 발휘했습니다.
• 효율성: 트리 구축 및 QA 추론 단계에서 ST-Raptor 나 GraphOTTER 대비 효율적인 시간 복잡도를 보였습니다. 특히 대규모 테이블에서 PSS 모드를 통해 토큰 비용을 절감했습니다.
• 사례 연구: 복잡한 계층 구조에서의 항목 enumeration(열거) 작업에서, 기존 방법들이 구조적 누락이나 환각으로 실패한 반면, ASTRA 는 트리 구조를 통해 정확한 계층 관계를 파악하여 정답을 도출했습니다.

5. 의의 및 결론 (Significance)

이 논문은 명시적인 계층 구조와 시맨틱 컨텍스트가 포함된 트리 표현이 LLM 의 복잡한 테이블 추론 능력을 unlocking 하는 데 필수적임을 입증했습니다.

• 학습 불필요 (Training-free): 추가적인 모델 미세 조정이 필요 없이, 데이터 표현 방식 (Serialization) 과 추론 전략의 혁신만으로 성능을 극대화했습니다.
• 하이브리드 추론의 확장: 텍스트 기반의 유연성과 기호적 (코드) 기반의 정밀성을 결합한 DuTR 프레임워크는 복잡하고 불규칙한 테이블 데이터 처리에 새로운 패러다임을 제시합니다.
• 미래 방향: 현재는 텍스트와 구조적 파싱에 의존하지만, 향후 배경색이나 굵은 글씨 등 시각적 단서를 활용하는 멀티모달 접근법으로 확장할 가능성이 제시되었습니다.

결론적으로, ASTRA 는 복잡한 테이블 데이터를 LLM 이 효과적으로 이해하고 추론할 수 있도록 하는 표준적인 시리얼라이제이션 및 추론 아키텍처로서, 데이터 분석 및 질문 답변 분야에서 중요한 진전을 이룩했습니다.