기술 요약: 저자원 제약 조건 하에서의 시각-언어 모델(VLM) 기반 가공 공정 문서의 구조적 추출 및 표준화된 재구성

1. 문제 정의

가공 공정 문서는 지능형 제조의 지식 축적을 위한 핵심 자산으로, 공정 순서, 파라미터, 장비 및 공구에 대한 필수 데이터를 포함하고 있다. 그러나 이들의 관리는 세 가지 주요 과제에 직면해 있다:

• 높은 이질성: 문서는 다양한 형식(스캔 사본, PDF, Word 파일, 현장 사진)으로 존재하며, 복잡하고 일관되지 않은 레이아웃과 다양한 용어를 포함한다.
• 의미적 불일치: 지속적인 제품 반복 및 사양 개정으로 인해 필드 명칭이 일관되지 않고 의미적 모호성이 발생하여 표준화된 관리를 저해한다.
• 자원 및 보안 제약: 엄격한 기업 데이터 기밀성으로 인해 충분한 비식별 라벨링 데이터를 확보하는 것이 어려워, 대규모 주석 데이터가 필요한 기존의 데이터 구동 방식은 효과적이지 않다. 또한, 기존의 멀티모달 판별 모델은 레이아웃 변화에 대한 강건성이 부족하고 인간-기계 협업 검증 메커니즘이 결여되어 있는 경우가 많다.

2. 방법론

저자들은 모델 미세 조정(Fine-tuning)이나 대규모 라벨링 데이터 없이 저자원 제약 조건 하에서 작동하는 시각-언어 모델(VLM) 기반의 통합 처리 프레임워크를 제안한다. 이 프레 framework는 세 개의 순차적으로 결합된 모듈로 구성된다:

2.1 CEVF 프롬프팅을 통한 구조적 추출

교차 모달 환각(Cross-modal hallucination)과 추출 신뢰도 문제를 해결하기 위해, 저자들은 제약 예시 검증 피드백(Constraint Example Verification Feedback, CEVF) 프롬프팅 메커니즘을 도입하였다. 이 반복적인 워크플로우는 다음을 포함한다:

• 제약 계층(Constraint Layer): 사전 정의된 JSON Schema 제약 조건을 통해 모델의 출력 공간을 핵심 필드(예: basic_info, process_steps, approval_info)로 제한하며, 엄격한 타입 및 형식 정의를 적용한다.
• 예시 계층(Example Layer): "원샷(One-shot)" 프롬프팅 전략을 사용하여 하나의 전형적인 문서와 그에 따른 구조화된 출력을 제공함으로써, 컨텍스트 효율성과 명확한 추출 패러다임을 동시에 확보한다.
• 검증 및 반복 피드백: 출력물은 다차원 규칙 기반 검증(완전성, 범위, 형식, 논리)을 거친다. 검증 실패 시, 구조화된 피드백 지침이 재추출을 트리거한다. 이 루프는 최대 3회까지 실행된다.
• 신뢰도 평가: 이중 차원 전략을 통해 VLM의 내부 토큰 확률과 외부 규칙 기반 검증 점수를 결합한 종합 신뢰도 점수($S_f$)를 계산한다. 여러 차례의 교정이 필요한 필드에는 반복 감쇠 계수($\gamma = 0.95$)를 적용하여 신뢰도를 낮추고, 적응형 임계값 미만으로 떨어질 경우 수동 검토 대상으로 플래그를 지정한다.

2.2 의미적 정렬 및 필드 표준화

일관되지 않은 필드 명칭(예: "part number" vs "drawing number")을 해결하기 위해 적응형 정렬 전략이 사용된다:

• 의미적 임베딩: 추출된 원본 필드 명칭과 기업 표준 필드를 Sentence-BERT를 사용하여 768차원 벡터로 인코딩한다. 코사인 유사도를 통해 의미적 근접성을 정량화한다.
• 도메인 지식 베이스 협업: 유사도가 임계값(0.85) 미만인 경우, 경량 가공 도메인 지식 베이스를 참조하여 모호성을 해결한다.
• 점진적 학습: 수동으로 검증된 매핑은 지식 베이스에 점진적으로 업데이트되어, 오프라인 재학습 없이 향후 수동 개입을 줄인다.

2.3 표준화된 문서 재구성

마지막 모듈은 구조화된 데이터로부터 준수된 공정 문서를 생성하며, 이는 **제약 충족 문제(Constraint Satisfaction Problem, CSP)**로 공식화된다:

• 플레이스홀더 좌표 정렬: 시맨틱 플레이스홀더와 문서 객체 모델(DOM)/레이아웃 제약 그래프(LCG)를 사용하여 구조화된 데이터를 표준 템플릿에 매핑한다.
• 동적 레이아웃 적응: 가변 길이 공정 테이블을 위해, 총 공정 수량에 따라 행을 자동으로 추가하는 동적 행 확장 전략을 사용하여 템플릿 스타일을 상속받고 형식 일관성을 보장한다.
• 이미지 복원: VLM은 텍로 추출하지만, 공정 삽화는 원본 파일을 이미지로 변환하여 새 문서의 지정된 플레이스홀더 위치에 삽입함으로써 무결성을 유지하며 복원한다.

3. 주요 기여

1. 통합 프레임워크: 대규모 라벨링 데이터나 모델 미세 조정 없이 작동하며, 고도의 기밀성이 요구되는 시나리오에 적합한 구조적 추출, 의미적 정렬 및 표준화된 재구성을 위한 폐쇄 루프 파이프라인을 제공한다.
2. CEVF 프롬프팅 메커니즘: 제약 조건, 원샷 예시 및 반복 피드백을 결합하여 VLM의 환각을 효과적으로 억제하고 추출 신뢰도를 높이는 새로운 방법을 제시한다.
3. 이중 모달 정렬 재구성: 시맨틱 임베딩을 도메인 지식과 융합하고 플레이스홀더 좌표 정렬을 사용하여 이질적인 필드 명칭을 처리하며, 복잡한 시나리오(예: 다중 페이지 테이블, 흐릿한 스캔본)에 대해 준수된 레이아웃을 생성하는 문서 생성 방법을 제공한다.

4. 실험 결과

다양한 품질 수준(선명함부터 중간 정도의 저하까지)을 가진 20개의 비식별 실제 공정 카드(축 및 기어 부품 포함)를 대상으로 실험을 수행하였다. 제안된 방법은 베이스라인(PaddleOCR-VL 1.5) 및 CEVF 구성 요소의 절제 연구(Ablation study)와 비교되었다.

• 추출 성능: 전체 CEVF 프레임워크는 **필드 정확도(FA) 88.90%**를 달와성하였으며, 환각율(HR)을 6.50%로 감소시켜 베이스라인(FA: 45.50%, HR: 38.06%) 및 제약 조건만 적용한 변형 모델을 크게 상회하였다.
• 형식 준수: **형식 준수율(FCR)**은 **99.40%**에 달하여 산업 레이아웃 표준에 대한 높은 준수 능력을 입증하였다.
• 의미적 정렬: 협업 전략을 통해 동적 업데이트되는 지식 베이스를 활용함으로써 의미적 편차율을 10.6%(순수 시맨틱 모델)에서 **0.9%**로 낮추었다.
• 효율성: 복잡한 케이스의 평균 처리 시간은 62.73초였으나, 고해상도 저복잡도 문서의 경우 약 25초로 단축되어 전통적인 방식보다 거의 3배 빨랐다.
• 강건성: 시스템은 기울어진 페이지, 얼룩, 다중 페이지 테이블을 성공적으로 처리하였다. 인간-기계 협업 경계가 정의되어, 낮은 신뢰도의 필드는 가이드 리뷰를 위해 강조 표시되고, 심하게 손상된 문서는 수동 개입을 트리거한다.

5. 의의 및 주장

본 논문은 자원 제약 및 고도의 기밀성이 요구되는 환경에서 가공 공정 지식의 디지털화 및 표준화를 위한 실질적이고 실행 가능한 기술적 경로를 제공한다고 주장한다. VLM의 일반화 능력을 활용하고 이를 규칙 기반 검증 및 도메인 지식으로 강화함으로써, 제안된 방법은 다음과 같은 성과를 거둔다:

• 문서를 구조화된 데이터로 변환하는 데에만 의존하는 전통적 방식의 단방향 한계를 극복한다.
• 대규모 주석 데이터에 대한 의존도를 낮추어, 엄격한 데이터 프라이버시 요구사항을 가진 기업에서도 활용 가능하게 한다.
• 이질적인 소스로부터 표준화된 공정 문서를 자동 생성할 수 있게 하여, 지능형 제조에서의 지식 계승, 공정 최적화 및 품질 관제를 용이하게 한다.

저자들은 이 방법이 현재의 병목 현상을 효과적으로 해결하고 있지만, 향후 연구는 프레임워크를 다른 산업 문서 유형으로 확장하고 동적 지식 베이스 진화를 위한 점진적 학습을 도입하는 데 집중할 것이라고 결론지었다.