Leveraging GenAI for Segmenting and Labeling Centuries-old Technical Documents

이 논문은 16~17 세기 선박 건조 논고와 같은 고문서의 자동 분류 및 검색을 위해 SAM2, Florence2, ChatGPT 와 같은 생성형 AI 기술과 도메인 특화 온톨로지를 결합한 시나리오를 제시하며, 데이터 부족과 전문성이라는 한계에도 불구하고 역사적 자료의 디지털 큐레이션 잠재력을 입증합니다.

핵심

🌊 핵심 이야기: 낡은 지도를 현대의 GPS 로 다시 그리는 일

상상해 보세요. 16~17 세기, 항해사들이 손으로 그린 배 설계도와 기술 서적들이 있습니다. 이 책들은 역사적으로 매우 소중하지만, 글씨가 낡았고 그림도 복잡하며 전문 용어가 가득해서 일반인이나 심지어 전문가조차 내용을 쉽게 파악하기 어렵습니다. 마치 오래되어 글씨가 번진 낡은 지도를 들고 있는 것과 같습니다.

저자들은 이 '낡은 지도'를 최신 AI 기술을 이용해 현대의 '디지털 지도'로 변환하려는 시도를 했습니다.

🛠️ 어떻게 해결했나요? (세 가지 단계)

이 연구는 크게 세 가지 단계로 이루어진 '스마트 정리 프로젝트'와 같습니다.

1. 사진 속 물체 찾기 (이미지 분할 - Segmentation)

• 비유: 거실 사진이 있다고 칩시다. AI 는 이 사진에서 '의자', '식탁', '식물'을 구분해 내는 것처럼, 배 설계도 속의 복잡한 그림을 잘게 쪼개서 각 부분을 찾아냅니다.
• 기술: 연구진은 **'SAM2'**라는 최신 AI 를 사용했습니다. 이 AI 는 사진 속의 물체 경계를 아주 정교하게 따라 그립니다 (파란색 테두리처럼요).
• 효과: 마치 레고 블록을 하나하나 분리해 내듯이, 배의 전체 그림에서 '키 (Quilha)', '돛대', '바닥판' 같은 작은 부품들을 따로 떼어내어 식별할 수 있게 되었습니다.

2. 물체 이름 붙이기 (이미지 라벨링 - Labeling)

• 문제: AI 가 물체를 찾아냈지만, 그 물체가 '무엇'인지 모릅니다. 일반 AI 는 배의 부품을 '낡은 나무', '원형 물체' 정도로만 인식할 뿐, 전문 용어를 모릅니다.
• 해결책: 연구진은 ChatGPT나 Florence-2 같은 생성형 AI 를 활용했습니다. 하지만 그냥 "이게 뭐야?"라고 묻는 대신, **전문가들이 만든 '배 부품 사전 (glosShip)'**과 **지식 지도 (ontoShip)**를 AI 에게 먼저 보여주고 질문을 던졌습니다.
• 비유: 일반인에게 "이건 뭐야?"라고 물으면 "나무 막대"라고 답할 수 있지만, **선박 전문가에게 "이건 배의 어떤 부분이지?"**라고 물으면 "아, 이건 '리더 프레임 (Rider Frame)'이라고 하는 배의 뼈대야"라고 정확히 알려주는 것과 같습니다. 연구진은 AI 에게 이 '전문가 지식'을 주입하여 정확한 이름을 붙이게 했습니다.

3. 상자 안에 정리하기 (Bounding Box)

• 찾은 부품에 정확한 이름을 붙이고, 그 부품이 그림의 어느 위치에 있는지 **상자 (Box)**로 표시합니다. 이제 컴퓨터는 "이 그림의 오른쪽 아래에 '키 (Keel)'가 있다"라고 정확히 인식하게 됩니다.

⚠️ 어려웠던 점과 교훈

• 전문 용어의 함정: AI 는 배의 부품을 설명해 달라고 하면, 때로는 오토바이 부품이나 법률 용어로 혼동하기도 했습니다. (예: 'Rider Frame'을 배가 아닌 자전거나 기계 부품으로 오해함)
• 해결책: AI 에게 질문할 때 **"배를 만드는 맥락에서 설명해 줘"**라고 구체적으로 지시해야만 정확한 답을 얻을 수 있었습니다. 이는 AI 가 마치 초보 직원처럼, 정확한 지시 (프롬프트) 와 전문 지식 (사전) 이 없으면 헷갈릴 수 있음을 보여줍니다.

🚀 이 연구가 왜 중요한가요?

이 기술이 완성되면 다음과 같은 일이 가능해집니다.

1. 검색의 혁명: "17 세기 포르투갈 배의 '키' 부분을 보여주는 그림"이라고 검색하면, AI 가 수천 장의 낡은 책에서 정확히 그 부품이 그려진 부분을 찾아내어 보여줍니다.
2. 역사 보존: 수백 년 전의 기술 지식을 디지털로 정리하여, 일반인도 쉽게 접근하고 배의 역사와 기술을 배울 수 있게 됩니다.
3. 미래의 확장: 이 방법은 배뿐만 아니라 고전 미술, 음악 악보, 고대 문서 등 다른 분야의 오래된 자료들을 정리하는 데도 적용될 수 있습니다.

💡 한 줄 요약

"수백 년 전의 복잡한 배 설계도를, 최신 AI 가 '전문가 사전'을 보고 읽어서, 마치 현대의 디지털 도서관처럼 누구나 쉽게 검색하고 이해할 수 있게 만든 연구입니다."

이 연구는 기술의 발전이 단순히 '새로운 것'을 만드는 것을 넘어, 과거의 소중한 지식을 미래로 이어주는 다리 역할을 할 수 있음을 보여줍니다.

기술 요약

논문 요약: 수백 년 된 기술 문서 (선박 조립도) 를 위한 생성형 AI 기반 분할 및 라벨링

1. 문제 정의 (Problem)

• 배경: 현대 이미지 처리 기술 (이미지 분할, 객체 인식) 은 방대한 양의 훈련 데이터를 바탕으로 높은 정확도를 달성했으나, **수백 년 된 기술 문서 (특히 16~17 세기 선박 조립 서적)**에 적용할 때는 심각한 한계가 존재함.
• 주요 도전 과제:
  1. 훈련 데이터 부족: 역사적 문서에 대한 대규모 데이터셋이 부재함.
  2. 도메인 특화 지식의 필요성: 일반 객체 (사람, 자동차 등) 와 달리, 선박의 복잡한 구조적 부품 (키, 선미, 프레임 등) 을 식별하려면 깊은 전문 지식이 요구됨.
  3. 복합 객체의 복잡성: 선박 도면은 하나의 큰 객체 (선박) 가 여러 하위 부품으로 구성된 복합체이므로, 세부 부품까지 정밀하게 분할하고 라벨링하기 어려움.
• 목표: 이러한 역사적 문서의 자동화된 큐레이션, 카탈로그화, 지식 확산을 위해 이미지 분할 및 라벨링 정확도를 높이는 방법론을 제시하는 것.

2. 방법론 (Methodology)

저자들은 3 단계 파이프라인을 제안하며, 생성형 AI(GenAI) 와 전문 지식 기반 (Ontology, Glossary) 을 결합한 접근법을 사용함.

• 단계 1: 이미지 분할 (Segmentation)

  • SAM2 (Segment Anything Model 2): Meta 에서 개발한 최신 분할 알고리즘을 사용하여 이미지 내 객체의 경계 (contours) 를 식별하고 세그먼트로 나눔.
  • 비교: 기존 OpenCV 의 'Watershed' 알고리즘과 비교하여 SAM2 가 더 세밀하고 정확한 분할 (예: 선박의 각 부품, 텍스트 영역, 잉크 번짐 등) 을 수행함을 확인.

• 단계 2: 라벨링 및 객체 인식 (Labeling & Recognition)

  • 여러 가지 실험적 방법을 비교 평가함:
    1. BLIP + NLTK + GroundingDINO: 이미지 캡션 생성 후 단어로 변환하여 바운딩 박스 할당.
    2. Tag2Text: 사전 정의된 텍스트 리스트 기반 라벨링 (성능 미흡).
    3. RAM (Recognize Anything Model): 개선된 어휘를 가진 RAM 을 사용.
    4. GenAI 통합 접근 (제안된 핵심):
       • ChatGPT/Florence-2 활용: 전문 용어에 대한 상세한 정의를 생성형 AI 로 생성.
       • Zero-shot 학습: 생성된 정의를 임베딩하여 RAM 이나 GroundingDINO 에 전달함으로써, 훈련 데이터가 없는 도메인에서도 객체를 인식하도록 유도.

• 단계 3: 전문 지식 통합 (Ontology & Glossary Integration)

  • ontoShip: 선박 구조 (선체 부품, 접합 시스템 등) 에 대한 250 개 이상의 개념을 포함하는 전문 온톨로지.
  • glosShip: 다국어 선박 용어 전문 사전.
  • 적용 방식: 단순한 키워드 프롬프트 대신, 온톨로지와 사전의 정의 (Definition) 를 활용하여 생성형 AI 에 "선박 조립 맥락"을 명시적으로 제공. 이를 통해 'Rider Frame'과 같은 용어가 오토바이 부품이나 보험 용어로 오인되는 것을 방지하고 정확한 맥락을 유도함.

3. 주요 기여 (Key Contributions)

1. 전문 도메인용 AI 파이프라인 제안: 일반 컴퓨터 비전 모델이 실패하는 고도로 전문화된 역사적 기술 문서 (선박 조립도) 에 대해 SAM2, GenAI(ChatGPT, Florence-2), 그리고 지식 그래프 (Ontology) 를 결합한 새로운 처리 파이프라인을 제시함.
2. 지식 기반 프롬프트 엔지니어링: 생성형 AI 의 할루시네이션 (오류) 을 줄이고 정확도를 높이기 위해, 전문 용어 사전과 온톨로지를 프롬프트의 컨텍스트로 활용하는 전략을 입증함. 이는 정보 검색의 '쿼리 확장 (Query Expansion)' 개념을 이미지 라벨링에 적용한 사례임.
3. 다단계 비교 실험: BLIP, RAM, Tag2Text, ChatGPT 등 다양한 모델 조합과 분할 알고리즘 (SAM2 vs Watershed) 의 성능을 정성적/정량적으로 비교 분석함.

4. 결과 및 논의 (Results & Discussion)

• 분할 성능: SAM2 는 Watershed 알고리즘보다 훨씬 더 정밀하게 선박의 세부 부품 (예: 키, 선미, 프레임 등) 과 텍스트 영역을 분할하여 성공적으로 추출함.
• 라벨링 정확도:
  • ChatGPT 기반 접근: 기본 모델 (RAM 등) 보다 더 많은 객체를 식별하고 상세한 설명을 제공했으나, 프롬프트가 부실할 경우 '축 (axes)'을 '도르래 (pulleys)'로 오인하거나 책 가장자리를 '날카로운 물체'로 잘못 라벨링하는 등 **거짓 양성 (False Positives)**이 발생함.
  • 전문 지식의 효과: ChatGPT 에 "선박 조립 맥락"과 온톨로지 기반 정의를 명시적으로 제공했을 때, 라벨링의 정확도가 크게 향상됨.
• 한계: 훈련 데이터 부족으로 인한 인식 어려움과 복합 객체 (선박) 의 세부 부품 식별 난이도가 여전히 존재함.

5. 의의 및 향후 과제 (Significance & Future Work)

• 문화유산 디지털화: 수백 년 된 선박 조립 서적 (약 4,000 장의 이미지, 14 권의 서적) 을 자동화하여 학자와 대중이 접근할 수 있도록 함. 이는 디지털 인문학 (Digital Humanities) 과 해양 고고학의 교차점에서 중요한 의미를 가짐.
• 확장성: 이 방법론은 문학, 미술, 음악 등 다른 전문 분야에서도 적용 가능하여, 해당 분야의 이미지 큐레이션 및 검색 효율성을 극대화할 수 있음.
• 향후 계획:
  • Florence-2 와의 통합: Microsoft 의 Florence-2 를 'Swiss Army Knife'로 활용하여 바운딩 박스 생성 및 캡션 기반 그라운딩 (Grounding) 성능을 평가.
  • 정량적 평가 지표 개발: 생성된 라벨과 인간 전문가가 큐레이션한 glosShip/ontoShip 을 'Ground Truth'로 삼아 알고리즘 성능을 측정하는 새로운 메트릭 설계.
  • 다국어 처리: 프랑스어, 영어, 네덜란드어, 이탈리아어, 라틴어 등 다양한 언어로 된 treatises 에 대한 처리 능력 확장.

---

결론적으로, 이 논문은 생성형 AI 의 강력한 언어 이해 능력과 전문 도메인 지식 (온톨로지/사전) 을 결합함으로써, 기존 AI 모델이 접근하기 어려웠던 역사적 기술 문서의 자동 분할 및 라벨링 문제를 해결할 수 있는 유망한 방향성을 제시했습니다.