🤖 AI

Active Learning for Cascaded Object Detection: Balancing Coverage and Uncertainty in Table Extraction Pipelines

이 논문은 계층적 테이블 추출 파이프라인을 위해 Uncertainty Herding을 적응시킨 두 가지 파이프라인 인지 변형 방식인 RankFusion과 CAPA를 제안함으로써, 커버리지와 불확실성의 균형을 효과적으로 맞추어 주석 비용을 크게 절감하는 동시에 여러 데이터셋에 걸쳐 표준 베이스라인보다 우수한 성능을 보이는 새로운 능동 학습 프레임워크를 소개한다.

원저자: Eliott Thomas, Mickael Coustaty, Aurelie Joseph, Gaspar Deloin, Vincent Poulain d'Andecy, Jean-Marc Ogier

게시일 2026-07-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Eliott Thomas, Mickael Coustaty, Aurelie Joseph, Gaspar Deloin, Vincent Poulain d'Andecy, Jean-Marc Ogier

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 로봇 조수에게 송장이나 계약서 같은 비즈니스 문서를 읽고 이해하는 법을 가르치려 한다고 상상해 보십시오. 이러한 문서들은 표(데이터의 행과 열)로 가득 차 있으며, 로봇이 이를 이해하기 위해서는 두 가지를 수행해야 합니다.

표 찾기: 먼저, 페이지의 어디에 표가 있는지 찾아내야 합니다 (마치 어지러운 방에서 특정 상자를 찾는 것과 같습니다).
표 읽기: 그다음, 그 상자 내부를 이해해야 합니다 — 어떤 줄이 헤더인지, 어떤 것이 열이고 행인지 파악하는 것입니다.

문제는 이 로봇을 가르치는 데 비용이 많이 든다는 점입니다. 당신은 사람을 고용하여 표 주변에 상자를 그리고, 표 안의 모든 셀을 하나하나 정성스럽게 라벨링해야 합니다. 세상의 모든 문서를 라벨링할 여유는 없으므로, 로봇을 가르칠 딱 적절한 문서를 골라내는 똑똑한 방법이 필요합니다. 여기서 **능동 학습(Active Learning)**이 등장합니다. 이는 마치 선생님이 무작위로 학생들에게 퀴즈를 내는 것이 아니라, 가장 힘들어하거나 독특한 유형의 문제를 가진 학생을 구체적으로 골라내어 수업 속도를 높이는 것과 같습니다.

문제점: 2단계 릴레이 경주

이 논문은 우리가 보통 로봇을 가르치는 방식에 결함이 있다고 지적합니다. 대부분의 "똑똑한 선택기(smart pickers)"는 로봇을 하나의 뇌를 가진 존재로 취급합니다. 하지만 실제로는 이것은 릴레이 경주입니다.

주자 1 (표 탐지): 표를 찾습니다.
주자 2 (표 구조): 표를 읽습니다.

만약 주자 1이 바통을 놓치면(표를 놓치면), 주자 2는 달릴 기회조차 얻지 못합니다. 주자 2가 아무리 뛰어나더라도, 표를 보지 못한다면 배울 수 없습니다. 반대로, 주자 1은 훌륭하지만 주자 2가 혼란스러워한다면, 전체 경주는 실패하게 됩니다.

표준적인 "똑똑한 선택기"들은 이러한 연결 고리를 깨닫지 못합니다. 그들은 주자 2를 가르치기에 완벽한 문서를 고를 수도 있지만, 만약 주자 1이 그 문서에서 표를 찾지 못한다면 그 레슨은 낭비된 것이 됩니다.

해결책: 릴레이를 위한 새로운 전략

저자인 엘리엇 토마스(Eliott Thomas)와 그의 팀은 기존의 똑똑한 선택 방식인 UHerding(새로운 영역을 개척하는 것과 혼란에 집중하는 것 사이의 균형을 맞추는 방식)을 업그레이드하여 이 2단계 릴레이에 적용했습니다. 그들은 두 가지 새로운 버전을 만들었습니다.

1. RankFusion: "더블 체크" 전략

당신이 잃어버린 물건을 찾고 있다고 상상해 보십시오.

기존 방식: 방 전체를 둘러보며 아직 보지 못한 곳이 어디인지 확인합니다.
RankFusion 방식: 방 전체를 둘면서 동시에 특정 서랍(표)을 확대해서 보고, 그 안에 놓친 것이 없는지 확인합니다.

이 방법은 표를 찾는 법과 표 내부를 이해하는 법 모두에 흥미로운 문서를 선택합니다. 이는 마치 "표를 찾는 법을 가르치기에 충분히 특이하면서도, 동시에 그 안의 숫자를 읽기에 충분히 복잡한 문서를 고르자"라고 말하는 것과 같습니다.

2. CAPA: "팀 캡틴" 전략

이것은 가장 진보된 버전입니다. CAPA는 실시간으로 경주를 지켜보는 똑똑한 팀 캡틴처럼 행동합니다.

게이팅 메커니즘 (The Gating Mechanism): 만약 캡틴이 주자 1(표 탐지)이 심하게 고전하고 있는 것을 발견하면, 캡틴은 이렇게 말합니다. "멈춰! 아직 주자 2를 가르치는 데 시간을 낭비하지 마. 일단 주자 1이 표를 찾는 데 모든 에너지를 집중하자." 캡션은 표가 누락된 문서에서는 두 번째 단계를 가르치는 것이 무의미하므로 이를 무시합니다.
동적 가중치 (Dynamic Weighting): 주자 1이 업무에 익정해지면, 캡틴은 초점을 옮겨 주자 2를 돕습니다. 캡틴은 현재 어떤 주자가 "병목 현상(weak link)"을 일으키고 있는지에 따라 학습 계획을 끊임없이 조정합니다.

연구 결과

연구팀은 네 가지 다른 유형의 문서(학술 논문, 재무 보고서, 송장, 혼합 비즈니스 문서)를 대상으로 이 전략들을 테스트했습니다.

결과: 두 가지 새로운 전략(RankFusion과 CAPA) 모두 기존 방식보다 뛰어났습니다. 이들은 동일한 인간 라벨링 노력으로 로봇이 더 빠르고 정확하게 학습하도록 도왔습니다.
트레이드오프 (Trade-off):
- RankFusion은 "고위험 고수익" 플레이어였습니다. 때때로 최고의 점수를 기록하기도 했지만, 문서 유형에 따라 성능의 편차가 컸습니다.
- CAPA는 "꾸준한 챔피언"이었습니다. 항상 절대적으로 가장 빠른 것은 아니었지만, 가장 신뢰할 수 있었습니다. 결코 성적이 나쁘지 않았기에, 당신이 다루는 문서가 어떤 종류인지 확실하지 않을 때 가장 안전한 선택지였습니다.

핵심 요점

이 논문은 다단계 프로세스(릴레이 경주와 같은)를 다룰 때, 이를 단순히 하나의 큰 작업으로 취급해서는 안 된다고 결론짓습니다. 당신은 첫 번째 단계가 실패하면 두 번째 단계는 의미가 없다는 것을 이해해야 합니다.

현재 어떤 단계가 어려움을 겪고 있는지 파악하고, 그곳에 학습 노력을 집중하는 시스템을 구축함으로써, 훨씬 더 효율적으로 강력한 AI 시스템을 훈련할 수 있습니다. 이는 단순히 "가장 어려운" 사례를 고르는 문제가 아니라, 체인의 끊어진 특정 연결 고리를 고칠 수 있는 사례를 고르는 문제입니다.

기술 요약: 표 추출을 위한 계층적 객체 탐지에 대한 능동 학습(Active Learning)

문제 정의
비즈니스 문서에서의 표 추출은 일반적으로 두 단계로 구성된 계층적 파이프라인에 의존한다: 표 탐지(Table Detection, TD)는 문서 페이지 내에서 표를 국지화(localization)하며, 표 구조 인식(Table Structure Recognition, TSR)은 탐지된 영역의 내부 레이아웃(행, 열, 헤더)을 복구한다. 이 파이프라인을 위한 학습 세트를 구축하는 것은 비용이 많이 드는데, 특히 TD가 요구하는 단일 바운딩 박스에 비해 TSR은 정교한 구조적 주석(annotation)을 필요로 하기 때문이다. 능동 학습(Active Learning, AL)은 가장 정보가 많은 샘플을 선택함으로써 주석 부담을 줄이는 원칙적인 접근 방식을 제공하지만, 기존 전략들은 주로 단일 모델 작업에 설계되어 있다. 이러한 전략들은 TSR 성능이 상위 단계인 TD 예측의 품질에 의해 엄격하게 제한되는 계층적 구조의 구조적 의존성을 고려하지 못한다. 또한, 두 단계는 입력 범위(전체 페이지 대 잘려진 표)와 작업 복잡성이 다르므로, 서로 다른 학습 신호를 필요로 할 수 있으며 데이터가 추가됨에 따라 동일한 속도로 개선되지 않을 수 있음을 시사한다.

방법론
저자들은 커버리지(다양성)와 불확정성(uncertainty)의 균형을 맞추는 하이브리드 샘플링 방법인 **Uncertainty Herding (UHerding)**을 계층적 표 추출 설정에 맞게 변형하였다. 핵심적인 적응 방식은 서로 다른 임베딩 공간을 가진 다중 단계를 처리하기 위해 커버리지와 불확정성 구성 요소를 수정하는 것이다.

일반화된 UHerding 적응:
- 임베딩: 자연 이미지 특징 대신, 사전 학습된 문서 이미지 인코더(DiT)를 사용하여 문서 수준의 표현을 생성한다.
- 불확정성: TD와 TSR 모델의 신뢰도 점수로부터 결합된 불확정성 신호를 도출한다. 예측이 임계값 미만으로 떨어지면 불확정성은 1로 기본 설정된다.
- 보정(Calibration): 객체 탐지를 위한 표준 기대 보정 오차(ECE) 공식의 부재를 해결하기 위해, 저자들은 검증 세트에서의 불확정성과 예측 오차 사이의 스피어먼 상관계수(GriTS-Con F1)를 사용하여 불확정성 대 커버리지의 영향력을 동적으로 조정한다.
파이프라인 인식 확장:
단계들을 대칭적으로 취급하는 것이 최적이 아님을 인식하여, 두 가지 확장이 제안된다:
- RankFusion: 이 접근 방식은 **이중 매니폴드 커버리지(dual-manifold coverage)**를 도입한다. 이는 두 번째 인코더(TSR 특징 재사용)를 사용하여 표 수준의 표현을 생성한다. 커버리지는 문서 수준과 표 수준 공간 모두에서 독립적으로 계산된다. 서로 다른 스케일 간의 정규화 문제를 피하기 위해, 이 방법은 커버리지 이득을 순위(rank)로 변환한 뒤 **상호 순위 융합(Reciprocal Rank Fusion, RRF)**을 사용하여 융합한다. 이는 공유된 불확정성 신호와 보정 파라미터를 유지한다.
- CAPA (Calibrated and Pipeline-Aware): 이 방법은 TD-to-TSR 의존성을 명시적으로 모델링하여 대칭성 가정을 더욱 완화한다:
  - 적응형 가중치(Adaptive Weighting): 각 단계의 검증 성능에 따라 융합 가중치( $\beta$ )를 동적으로 조정한다. TD가 병목 구간이면 가중치가 TD 매니폴드로 이동하고, TD가 신뢰할 만하면 TSR로 이동한다.
  - 단계별 게이팅(Stage-Dependent Gating): TD 신뢰도가 낮은 문서에 대해서는 TSR 불확정성을 억제하여, 표 자체가 탐지되지 않았을 때 구조적 주석을 위한 샘플이 선택되는 것을 방지한다.
  - 태스크별 보정(Per-Task Calibration): 각 단계의 특정 불확정성-오차 상관관계에 기반하여 별도의 보정 파라미터( $\tau_{td}, \tau_{tsr}$ )를 계산한다.

실험 설정
방법론은 네 개의 데이터셋(공개 데이터셋인 PubTables-1M, FinTabNet 및 프라이빗 데이터셋인 invoice-int, business-int)에 대해 평가되었다. 샘플링 전략의 효과를 격리하기 위해 범위는 병합 셀(spanning cells)이 없는 단일 표 문서로 제한되었다. 실험에는 두 단계 모두에 D-FINE-X 디텍터가 사용되었으며, 각 AL 반복마다 처음부터 다시 학습되었다. 실험은 71개에서 500개의 문서에 이르는 주석 예산 범위를 다루었다. 결과는 10개의 무작위 시드에 대해 평균을 냈다. 성능은 GriTS-Con F1 지표를 기반으로 한 중앙값 학습 곡선의 정규화된 AUC(Area Under the Curve)를 사용하여 측정되었다.

주요 결과

일반화: 적응된 UHerding 전략은 모든 데이터셋에서 단일 신호 베이스라인(순수 커버리지인 MaxHerding 및 순수 불확정성인 Confidence)보다 우수한 성능을 보였으며, 이는 하이브리드 샘플링이 계층적 탐지에 잘 일반화됨을 확인시켜 준다.
파이프라인 인식 성능:
- RankFusion은 가장 높은 평균 AUC(65.74%)를 달了했으며, 특히 이중 매니폴드 커버리지가 다양성 신호를 증폭시킨 business-int 데이터셋에서 탁월한 성능을 보였다. 그러나 모델 성능이 높아 불확정성이 지배적인 신호가 되었던 PubTables-1M에서는 변동성이 높고 일관성이 떨어지는 모습을 보였다.
- CAPA는 가장 일관된 전략으로 나타났으며, 네 개의 데이터셋 중 세 개에서 적응된 UHerding 베이스라인보다 우수한 성능을 보였다. FinTabNet(70.52% AUC)에서 최고의 결과를 달성했으며, 높은 하한선(결코 4위 아래로 떨어지지 않음)을 유지하여 타겟 데이터셋의 특정 병목 지점을 모를 때 견고한 선택임을 입증했다.
병목 역학(Bottleneck Dynamics): 분석 결과, 성능 병목(TD 대 TSR)은 데이터셋에 따라 달라짐이 밝혀졌다. CAPA가 커버리지를 병목 단계로 재할당하는 능력(예: 탐지가 신뢰할 만할 때 TSR로 초점을 이동)은 임베딩 공간 커버리지 분석을 통해 시각적으로 확인되었다.

의의 및 기여
본 논문은 세 가지 주요 기여를 주장한다:

UHerding의 첫 번째 적응: 단일 모델 이미지 분류를 넘어, 계층적 객체 탐지 파이프라인에 Uncertainty Herding을 적용한 첫 사례를 제시한다.
파이프라인 인식 확장: 탐지와 구조 인식 사이의 단계 간 의존성을 명시적으로 활용하는 RankFusion과 CAPA를 도입한다. 특히 CAPA는 불확정성을 동적으로 게이팅하고 단계별 신뢰도에 따라 커버지 가중치를 조절하는 것이 일관된 개선을 가져온다는 것을 보여준다.
경험적 검증: 다양한 도메인과 주석 예산에 걸친 광범위한 평가를 통해, 기대 이득(RankFusion)과 일관성(CAPA) 사이의 트레이드오프를 확립한다.

저자들은 파이프라인 단계 사이의 병목 현상이 샘플 선택의 획득 함수(acquisition function) 자체보다 전략 선호도를 결정한다고 결론짓는다. 그들은 이 프레임워크가 순차적 의존성을 가진 모든 계층적 탐지 작업에 일반화될 수 있다고 제안하며, 실패의 "어디(where)"가 샘플 선택의 "어떻게(how)"만큼 중요하다는 점을 강조한다. 본 연구는 복잡한 다중 표 또는 병합 셀 시나리오를 해결한다고 주장하지 않으며, 이를 향후 연구를 위한 한계점으로 남겨두었다.