💬 NLP

Decoupling Skeleton and Flesh: Efficient Multimodal Table Reasoning with Disentangled Alignment and Structure-aware Guidance

이 논문은 구조적 및 의미적 정렬을 분리하고 구조 유도 추론을 활용하여 고비용의 지도 학습이나 외부 도구를 요구하지 않으면서 대규모 비전-언어 모델의 테이블 추론 능력을 효율적으로 향상시키는 새로운 프레임워크인 DiSCo 와 Table-GLS 를 소개합니다.

원저자: Yingjie Zhu, Xuefeng Bai, Kehai Chen, Yang Xiang, Youcheng Pan, Xiaoqiang Zhou, Min Zhang

게시일 2026-05-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yingjie Zhu, Xuefeng Bai, Kehai Chen, Yang Xiang, Youcheng Pan, Xiaoqiang Zhou, Min Zhang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

매우 똑똑하고 독서량이 풍부한 로봇 (대형 시각 - 언어 모델) 이 지저분하고 복잡한 스프레드시트를 읽는 법을 가르치려 한다고 상상해 보세요. 이 로봇은 책 읽기와 이미지 감지는 뛰어나지만, 표를 보면 혼란을 겪습니다. 로봇은 표 전체를 한 번에 읽으려다 표의 형태 (행과 열의 위치) 와 셀 안의 단어 를 혼동합니다. 마치 새로운 도시의 지형을 배우는 동시에 모든 도로 표지판을 외우려 하는 것과 같습니다. 뇌가 과부하가 걸리는 상황이지요.

이 논문은 로봇을 가르치는 새로운 방식을 소개하며, 이를 DISCO와 Table-GLS라고 부릅니다. 이는 두 단계의 "분리 (decoupling)" 과정처럼 작동합니다.

문제: "얽힌" 혼란

현재의 방법들은 로봇에게 표 이미지와 그 텍스트 버전 (HTML 또는 마크다운 등) 을 한꺼번에 보여줌으로써 가르치려 합니다. 논문은 이는 엔진과 핸들을 동시에 바라보며 운전법을 배우려는 것과 같다고 주장합니다. 로봇은 격자 선, 행, 열로 이루어진 뼈대와 실제 숫자 및 단어로 이루어진 살을 분리하는 데 어려움을 겪습니다. 이 둘이 너무 밀접하게 섞여 있기 때문에, 로봇은 종종 틀린 추측을 하거나 본 적 없는 복잡한 표에서 길을 잃습니다.

해결책: "뼈대와 살의 분리"

저자들은 이 두 가지 작업을 분리하는 프레임워크를 제안합니다. 이는 마치 건축가가 인테리어 디자이너가 가구를 고르기 전에 먼저 청사진 (뼈대) 을 그리는 것과 같습니다.

1 단계: DISCO (건축가)

DISCO는 Disentangled Structure–Content Orientation (분리된 구조 - 콘텐츠 지향) 의 약자입니다. 이는 로봇이 표를 두 가지 명확한 단계로 보도록 가르칩니다.

뼈대 학습 (구조 정렬): 로봇에게 표 이미지가 제시되지만, 내부의 모든 텍스트는 'content'와 같은 일반적 자리표시자로 대체됩니다. 로봇은 오직 형태 만 설명하도록 요청받습니다. "이 표는 5 행 3 열입니다. 상단에 헤더가 있습니다." 로봇은 구체적인 단어에 방해받지 않고 레이아웃을 학습합니다.
살 학습 (콘텐츠 정렬): 로봇이 형태를 파악한 후, 빈칸을 채우는 법을 배웁니다. "1 행 2 열의 단어는 'Apple'입니다"라고 말하도록 학습시키는 것입니다.

이들을 분리함으로써 로봇은 먼저 표의 "지도"를 학습한 후, 그 지도 위의 "랜드마크"를 읽는 법을 배웁니다. 이는 로봇이 본 적 없는 표를 훨씬 더 잘 이해하도록 만듭니다.

2 단계: Table-GLS (탐정)

로봇이 표를 더 잘 이해하게 되면, 저자들은 Table-GLS(전체 - 지역 구조 유도 추론) 를 도입합니다. 이는 비싼 도구나 추가 학습 없이 로봇이 질문에 답할 수 있게 하는 새로운 방식입니다.

이는 미스터리를 해결하는 탐정과 같습니다.

전체 탐색: 세부 사항으로 곧바로 뛰어드는 대신, 탐정은 먼저 전체 범죄 현장 (전체 표) 을 살펴 clues(단서) 가 어디에 있을지 파악합니다. "나는 '판매' 열과 '2023' 행을 확인해야 합니다."
자기 정제: 탐정은 멈추고 질문합니다. "내가 올바른 단서를 선택했는가? 더 필요한가?" 계획이 잘못되면 이동하기 전에 이를 수정합니다.
지역 추출 및 추론: 마지막으로, 탐정은 관련 단서가 있는 작은 종이 조각 (부분 표) 만 잘라내어, 오직 그 작은 조각만을 사용하여 수학이나 논리 문제를 해결합니다.

이는 로봇이 관련 없는 데이터에 혼란을 겪거나 너무 많은 정보를 한 번에 보느라 사실을 만들어내는 것을 방지합니다.

왜 이것이 중요한가

이 논문은 이 접근 방식이 효율적이고 가벼우며 다음과 같은 장점이 있다고 주장합니다.

무거운 도구 불필요: 외부 소프트웨어나 복잡한 코드 없이 로봇이 스스로 모든 작업을 수행합니다.
적은 데이터 필요: 10,000 개의 예시만으로 훌륭한 결과를 달성하며, 다른 방법들은 100,000 개 이상이 필요할 수 있습니다.
향상된 일반화: "뼈대"를 별도로 학습하기 때문에 이전 방법들보다 훨씬 더 기괴하고 복잡하거나 본 적 없는 표 레이아웃을 처리할 수 있습니다.

결과

실험에서 이 새로운 방법은 로봇이 표를 이해하고 추론하는 능력을 이전보다 훨씬 크게 향상시켰습니다. 특히 다음 분야에서 뛰어났습니다.

그리드 내에서 특정 셀 찾기.
복잡한 재무 또는 과학 표에 대한 질문 답변.
본 적 없는 표 (보이지 않는 구조) 처리.

간단히 말해, 이 논문은 로봇이 표 전체를 한 번에 삼키려 하지 않도록 가르칩니다. 대신 로봇에게 먼저 격자를 이해한 후, 필요한 퍼즐 조각을 찾고, 마지막으로 그 특정 조각으로 문제를 해결하도록 가르칩니다. 이는 로봇이 데이터 표를 다룰 때 더 똑똑하고, 빠르며, 신뢰할 수 있게 만듭니다.

기술 요약: 골격과 살의 분리: 해리된 정렬과 구조 인식 안내를 통한 효율적인 멀티모달 테이블 추론

문제 제기

복잡한 레이아웃과 구조적 정보 (행, 열, 레이아웃) 와 의미적 내용 (셀 값) 이 긴밀하게 결합된 특성으로 인해, 테이블 이미지에서의 추론은 대형 시각-언어 모델 (LVLM) 에게 여전히 중요한 과제로 남아 있습니다. 테이블 추론을 위해 LVLM 을 적응시키는 기존 접근법은 일반적으로 두 가지 범주로 나뉘며, 둘 다 한계가 있습니다:

지도 미세 조정 (SFT) 또는 강화 학습 (RL): 이러한 방법들은 종종 테이블 추론 데이터에 대한 광범위하고 비용이 많이 드는 전문가 주석을 요구합니다. 이는 모델의 원래 능력에 대한 재앙적 망각을 초래할 위험이 있으며, 높은 훈련 비용으로 고통받습니다.
도구 증강 추론: 이러한 방법들은 명시적인 주의 및 추론을 유도하기 위해 외부 도구 (예: 시각 편집기, 심볼 실행기, 테이블 파서) 에 의존합니다. 효과적이기는 하지만, 시스템 복잡성과 추론 지연 시간을 증가시키며, 모델의 구조 이해에 대한 내재적 능력을 향상시키지 못합니다.

핵심 연구 질문은 다음과 같습니다: LVLM 을 최소한의 주석 비용과 외부 도구 의존 없이 테이블 추론에 적응시킬 수 있는 방법은 무엇인가?

방법론

저자들은 두 가지 주요 구성 요소로 구성된 효율적인 프레임워크를 제안합니다: DISCO(해리된 구조 - 내용 정렬) 와 Table-GLS(전체에서 국소로의 구조 안내 추론) 입니다.

1. DISCO: 해리된 구조 - 내용 정렬

DISCO 의 핵심 통찰은 멀티모달 정렬 과정에서 구조적 추상화를 의미적 기반으로부터 명시적으로 분리하는 것입니다. 구조와 내용이 얽힌 선형화된 텍스트 (예: HTML, Markdown) 와 테이블 이미지를 정렬하는 대신, DISCO 는 정렬을 상호 보완적인 목표로 분해합니다:

구조 정렬: 모델은 텍스트 표현의 모든 셀 내용을 익명화하여 (플레이스홀더 토큰으로 교체) 구조 표현 ( $T_S$ ) 을 예측하도록 훈련됩니다. 이 과정에서 레이아웃 토큰 (구분자, 헤더, 스패닝 마커) 은 유지됩니다. 이는 LVLM 이 셀 의미론과 독립적으로 테이블 레이아웃을 학습하도록 강제합니다.
내용 정렬: 이는 학습된 구조 위에 의미를 기반하기 위해 두 가지 수준으로 더 나뉩니다:
- 전체 내용 정렬: 모델은 총 행/열 수와 행/열 내용의 요약을 포함하는 경량의 반구조화된 테이블 설명을 생성합니다.
- 국소 내용 정렬: 모델은 특정 구조 좌표 (예: "행 $m$ 열 $n$ : [내용]") 와 관련된 텍스트 내용을 식별하고 설명하도록 훈련됩니다.

이러한 해리화는 LVLM 이 최소한의 추가 감독 하에 기존 의미 이해를 테이블 구조로 이전할 수 있게 합니다.

2. Table-GLS: 전체에서 국소로의 구조 안내 추론

DISCO 로부터 향상된 표현을 기반으로, Table-GLS 는 외부 도구나 추가 미세 조정 없이 LVLM 을 3 단계 추론 과정을 통해 안내하는 훈련 없는 추론 프레임워크입니다:

전체 구조 탐색: 테이블 이미지와 질문이 주어지면, 모델은 전반적인 레이아웃을 분석하여 작업 관련 행 및 열 인덱스 ( $R$ 및 $C$ ) 를 식별하고 추론 계획 ( $T_t$ ) 을 수립합니다. 이는 내용 추출 전에 "어디를 볼지" 결정하도록 강제합니다.
자기 정제 하위 테이블 추출: 모델은 초기 계획의 적절성을 평가합니다. 필요한 경우 계획을 수정하고 질문에 답하는 데 필요한 증거만 포함하는 최소한의 하위 테이블 ( $T_{sub}$ ) 을 추출합니다. 이 단계에는 오류 전파를 방지하기 위한 자기 성찰이 포함됩니다.
증거 기반 추론: 최종 답변은 검증 가능한 증거로서 추출된 하위 테이블에 대한 추론을 통해 생성되며, 시각적 기반을 위한 보조 컨텍스트로 원본 이미지를 유지합니다. 이는 추론을 작업 관련 데이터로 제한하여 허위 상관관계를 줄입니다.

주요 기여

본 논문은 다음과 같은 기여를 주장합니다:

DISCO 프레임워크: 구조 학습과 내용 기반을 분리함으로써 복잡하고 보이지 않는 레이아웃에 대한 LVLM 의 테이블 구조 및 내용 이해를 향상시키는 해리된 정렬 프레임워크입니다.
Table-GLS 프레임워크: 외부 도구나 추가 미세 조정 없이 추론 시 정확한 테이블 추론을 가능하게 하는 전체에서 국소로의 추론 방법으로, 구조화된 탐색과 증거 기반 접근법을 활용합니다.
강건한 성능: 제안된 방법은 21 개의 테이블 이해 및 추론 작업 전반에 걸쳐 강건한 개선을 달성하여, 최소한의 데이터 (정렬을 위한 1 만 장의 이미지) 로 보이지 않는 테이블 구조에 대한 강력한 일반화를 입증했습니다.

실험 결과

이 프레임워크는 다양한 LVLM(Gemma3, Qwen3-VL, LLaVA) 을 사용하여 다양한 벤치마크 (예: MMTab, WTQ, HiTab, TAT-QA, TabFact, PubHealthTab) 의 21 개 작업에서 평가되었습니다.

테이블 이해: DISCO 는 평가된 모든 모델과 작업에서 일관되게 성능을 향상시켰습니다. 특히, 정렬을 위해 1 만 장의 이미지만 사용하여 9 만 7 천 장의 이미지로 훈련된 모델과 비교하거나 더 나은 결과를 달성했습니다. 이는 구조 민감성 작업 (테이블 크기 감지, 셀 위치) 과 분포 외 (OOD) 설정에서 특히 강력한 성능을 보였습니다.
테이블 추론: DISCO 와 Table-GLS 를 결합하면 평균 점수가 가장 높았습니다. 이 프레임워크는 직접 답변 베이스라인을 크게 능가했으며, 여러 벤치마크에서 특히 AIT-QA 및 PubHealthTab 과 같은 OOD 데이터셋에서 Table-R1, HIPPO 와 같이 크게 최적화된 LVLM 과 맞먹거나 능가했습니다.
일반화: 이 방법은 표준 텍스트 정렬에 비해 비테이블 작업 (ScienceQA, HallusionBench) 에서 성능을 향상시켜, 해리된 정렬이 과도한 전문화를 초래하기보다 재사용 가능한 내부 표현을 형성하는 데 도움이 됨을 시사합니다.
효율성: Table-GLS 는 다단계 생성을 포함하지만, 도구 증강 방법 (예: REFOCUS) 의 높은 지연 시간과 복잡성을 피하며 추론 시간과 정확성 간의 유리한 균형을 달성합니다.

중요성과 주장

이 논문은 멀티모달 테이블 추론을 위한 확장 가능하고 데이터 효율적인 솔루션으로 이 작업을 위치시킵니다. "골격"(구조) 과 "살"(내용) 을 분리함으로써, 저자들은 대규모 지도 훈련의 prohibitive 비용이나 외부 도구의 아키텍처 오버헤드 없이 LVLM 을 복잡한 테이블 추론에 적응시킬 수 있음을 입증합니다. 이 프레임워크는 LVLM 의 내재적 추론 능력을 효과적으로 이끌어내어, 보이지 않는 테이블 구조로 일반화하고 다양한 레이아웃 전반에 걸쳐 강건성을 유지할 수 있게 합니다. 저자들은 명시적인 구조 - 내용 모델링과 경량의 구조 안내 추론이 구조화된 데이터 도메인에서 LVLM 성능을 향상시키는 핵심이라고 결론지었습니다.