수십 년 동안 세상은 종이와 픽셀 속에 잠겨 있었습니다. 영수증, 송장, 스캔된 보고서, 그리고 스프레드시트의 스크린샷들은 디지털 저장소에 평면적인 그림 형태로 남아 있습니다. 인간의 눈에는 이 이미지들이 많은 의미를 담고 있습니다. 숫자의 행, 데이터를 그룹화하는 헤더, 그리고 합계를 보여주기 위해 열 전체로 뻗어 있는 셀 등이 보입니다. 하지만 컴퓨터에게 이미지는 그저 색칠된 점들의 집합일 뿐입니다. 컴퓨터는 표의 형태는 보지만 그 안의 논리는 이해하지 못합니다. 병합된 셀이 그 아래의 모든 행에 속한다는 사실도, 달러 기호가 문자가 아닌 숫자를 나타내는 기호라는 사실도 알지 못합니다. 데이터를 보는 방식과 기계가 읽는 방식 사이의 이 간극은 오랫동안 병목 현상이 되어 왔습니다. 우리는 문서의 사진을 찍을 수 있지만, 그 사진을 프로그램이 실제로 비용을 더하거나 날짜를 정렬할 수 있는 작동 가능한 데이터베이스로 바꾸는 일은 대개 사람이 정보를 직접 다시 입력하거나 구조를 추측하기 위해 복잡한 스크립트를 작성해야 했습니다.

연구자들은 컴퓨터에게 페이지의 레이아웃을 인식하게 하여 이미지를 텍text나 코드 형태의 표로 변환하는 방식으로 이 문제를 해결하려 노력해 왔습니다. 그러나 이러한 방법들은 종종 근본적인 데이터를 생성하기보다는 시각적 디자인을 충실하게 복사하는 데 그쳤습니다. 컴퓨터는 어떤 셀이 두 개의 행에 걸쳐 있다는 것은 정확히 식별할 수 있지만, 그 셀 안의 값이 데이터베이스의 두 행 모두에 적용된다는 점은 이해하지 못합니다. 컴퓨터는 이미지를 설명해야 할 그림으로 취급할 뿐, 재구성해야 할 진실의 원천으로 취扱하지 않습니다. 이 새로운 연구의 목표는 그 마지막 간극을 메우는 것입니다. 즉, 문서의 단일 이미지를 가져와서 표준 컴퓨터 프로그램이 인간의 개입 없이 즉시 사용, 질의, 분석할 수 있는 완전한 기능의 데이터베이스를 생성하는 것입니다.

이 프로젝트의 연구자인 무사 페커(Musa Peker)는 컴퓨터에게 그것이 거의 하지 않는 일, 즉 데이터 구조 자체에 대한 어려운 결정을 내리도록 요청함으로써 이 문제에 접근했습니다. 단순히 보이는 것을 받아쓰는 대신, 시스템이 행과 열이 어떻게 연관되는지, 병합된 셀을 어떻게 처리할지, 그리고 문서의 서로 다른 부분들을 어떻게 하나의 논리적인 시스템으로 연결할지를 결정하도록 훈련시킨 것입니다. 그들은 "PIX2DB", 즉 "Picture to Database(그림에서 데이터베이스로)"라고 불리는 시스템을 구축했습니다. 이 시스템의 핵심은 이미지를 보고 그 안의 텍스트와 구조를 이해할 수 있는 인공지능의 한 종류인 시각-언어 모델(vision-language model)입니다. 연구자는 약 20억 개의 파라미터를 가진 비교적 작은 버전의 모델을 훈련시켜, 표와 영수증 이미지를 보고 SQL 덤프(SQL dump)라고 알려진 특정 지침 세트를 출력하도록 했습니다. 이는 데이터베이스 엔진이 테이블을 어떻게 구축할지, 각 열에 어떤 종류의 데이터가 들어갈지, 그리고 테이블들이 서로 어떻게 연결되는지를 정확히 알려주는 형식입니다.

모델에게 이 기술을 가르치기 위해 연구자는 중대한 난관에 부착했습니다. 바로 출력 결과가 어떠해야 하는지에 대한 완벽한 예시가 필요했다는 점입니다. 기존의 데이터셋은 대개 시각적 레이아웃만을 포함할 뿐 올바른 데이터베이스 구조는 포함하지 않기 때문에 기존 데이터셋에 의존할 수 없었습니다. 그래서 그들은 자신들만의 훈련장을 만들었습니다. 그들은 온라인 상점이나 부동산 매물 등에 사용되는 실제 데이터베이스를 가져와 컴퓨터 프로그램을 사용하여 이를 이미지로 렌더링했습니다. 그들은 다양한 글꼴, 색상, 병합된 셀을 추가하고, 약간의 흐림이나 불균일한 조명과 같은 사진의 불완전함을 시뮬레이션하여 난이도를 조절하며 수천 개의 이미지를 생성했습니다. 또한 기존의 표와 영수증 공공 데이터셋을 동일한 엄격한 형식으로 변환했습니다. 생성된 모든 예시는 결과 코드를 실행하여 실제로 작동하는지 확인하는 과정을 거쳤습니다. 이 과정은 이미지 한 쪽에는 이미지, 다른 한 쪽에는 완벽하고 실행 가능한 데이터베이스가 있는 거대한 "골드 스탠다드(gold standard)" 라이브러리를 제공했습니다.

이 훈련의 결과는 놀라웠습니다. 36,000개의 예제로 훈련된 이 작은 20억 파라미터 모델은 자신보다 4배나 큰 훨씬 더 큰 모델들을 능가했습니다. 한 번도 본 적 없는 표 이미지로 테스트했을 때, 이 작은 모델은 높은 정확도로 데이터베이스 구조를 성공적으로 재구성했습니다. 모델은 병합된 셀을 개별 행으로 나누는 법, 두 단계의 헤더를 단일 열 이름으로 바꾸는 법, 그리고 항목 목록을 메인 영수증 헤더에 외래 키(foreign key, 두 테이블을 연결하는 규칙)를 사용하여 연결하는 법을 정확히 식양했습니다. 합성 이미지 테스트에서 모델은 표 구조에 대해 86%의 경우 정확히 일치하는 결과를 얻었습니다. 더욱 인상적인 것은, 모델이 서로 다른 테이블 간의 연결 관계를 거의 완벽하게 복구하여 외래 키를 99%의 확률로 정확히 맞혔다는 점입니다.

연구진은 또한 영수본 사진이나 스캔된 금융 문서와 같은 실제 이미지에 대해서도 시스템을 테스트했습니다. 여기서 모델은 강력한 성능을 계속 유지하며, 금융 표의 경우 데이터의 96%, 영수증 사진의 경우 데이터의 93%를 정확히 식별했습니다. 시스템은 병합된 셀로부터 값을 반복하여 모든 행에 채워 넣는 것과 같이, 더 큰 모델이나 기존 도구들을 혼란스럽게 했던 문서의 무질서한 현실을 처리하는 데 특히 능숙함을 입증했습니다. 그러나 연구는 명확한 한계도 드러냈습니다. 팀이 훈련 중에 본 적이 없는 완전히 다른 데이터셋의 표를 대상으로 모델을 테스트했을 때, 성능이 떨어졌습니다. 모델은 낯선 사진 속의 텍스트를 읽는 데 어려움을 겪었으며, 종종 숫자나 문자를 잘못 읽었습니다. 이는 모델이 데이터를 구조화하는 논리는 마스터했을지라도, 텍스트 자체를 읽는 법은 여전히 훈련 데이터에 의 Rely하고 있음을 시사했습니다.

이 연구의 핵심 발견은 훈련 데이터 자체의 중요성이었습니다. 연구자는 실제 세계의 사진 없이 오직 생성된 합성 이미지만을 사용하여 모델의 버전을 훈련시키는 실험을 진행했습니다. 이 버전은 합성 테스트에서는 완벽하게 수행했지만, 실제 문서 사진을 보여주었을 때는 처참하게 실패했습니다. 모델은 실제 사진에 담긴 무질서한 텍스트를 처리할 수 없었습니다. 이는 합성 데이터가 모델에게 게임의 규칙을 가르쳐 주었지만, 실제 데이터는 플레이어를 읽는 법을 가르쳐 주었다는 것을 증명했습니다. 최종 시스템은 합성 데이터로 구조를 배우고 실제 데이터로 텍스트를 배우는 방식을 결합하여 완성되었습니다.

연구자는 또한 데이터베이스가 생성되기 전 최종 점검 역할을 하는 결정론적 복구 계층(deterministic repair layer)을 시스템에 추가했습니다. 만약 모델이 쉼표를 포함한 단어에 따옴표를 빠뜨리는 등의 작은 실수를 한다면, 이 계층이 오류를 자동으로 수정합니다. 이 단계는 출력이 이론적으로만 옳은 것이 아니라 실제로 표준 데이터베이스 프로그램에 의해 실행 가능하도록 보장했습니다. 이 복구 단계가 없었다면 많은 출력물이 실행에 실패했을 것입니다. 이 단계 덕분에 시스템은 거의 모든 경우에 작동하는 데이터베이스를 생성하여, 시각적 이미지를 즉시 쿼리, 정렬 및 분석할 수 있는 도구로 변환했습니다.

이 연구는 사진에서 작동하는 데이터베이스로 가는 길이 더 크고 강력한 뇌를 만드는 것이 아니라, 작고 집중된 모델에게 데이터 구조의 특정 규칙을 가르치는 것에 관한 것이라고 결론짓습니다. 연구자는 정밀한 예시로 훈련되고 간단한 복구 메커니즘의 지원을 받는 소형 모델이, 단순히 구조를 추측하도록 요구받는 더 크고 일반적인 모델들을 능가할 수 있음을 발견했습니다. 비록 시스템이 어렵고 생소한 사진 속의 텍스트를 읽는 데 여전히 어려움을 겪고는 있지만, 문서의 시각적 레이아웃을 논리적인 관계형 데이터베이스로 전환하는 문제는 성공적으로 해결했습니다. 이는 컴퓨터가 영수증이나 차트의 사진을 보고 인간이 질문을 던지거나, 합계를 구하거나, 추세를 추적하는 데 사용할 수 있는 데이터베이스를 즉각적으로 생성할 수 있게 되었음을 의미하며, 이미지 안에 갇혀 있던 데이터를 효과적으로 해방시킨 것입니다.