Physical Annotation for Automated Optical Inspection: A Concept for In-Situ, Pointer-Based Training Data Generation

기술 요약: 자동 광학 검사를 위한 물리적 어노테이션(Physical Annotation)

문제 정의
산업 현장에서 AI 기반 자동 광학 검사(AOI)를 구현하는 데 있어 고품질의 수동 레이블링 학습 데이터 부족이 빈번하게 걸림돌이 되고 있다. 현재의 워크플로우는 다음과 같은 병목 현상에 직면해 있다:

• 데이터 희소성: 안전이 중요한 품질 관리 환경에서는 전체 검사 대상 물체에 비해 결함이 있는 부품이 매우 드물기 때문에, 충분한 양의 양성 샘플을 수집하기 어렵다.
• 워크플로우 중단: 결함을 디지털화하고 어노테이션하는 과정이 실제 검사 활동과 분리되어 있어, 별도의 장치, 보조 소프트웨어 및 전담 인력이 필요하다.
• 기술 장벽: 기존의 어노테이션 도구(예: CVT, LabelImg)를 효과적으로 사용하려면 IT 전문 지식이 필요하며, 이는 도메인 전문가(검사 요원)와 머신러닝 파이프라인 사이에 간극을 만든다.
• 변화에 대한 저항: 새로운 워크플로우가 직관적이지 않을 경우, 재정적 제약과 경영진의 승인 필요성으로 인해 기존의 확립된 검사 프로세스를 수정하기 어렵다.

방법론
본 논문은 물리적 객체와의 직접적인 포인터 기반 상호작용을 통해 현장(in-situ)에서 학습 데이터를 생성하도록 설계된 혁신적인 **물리적 어노테이션 시스템(Physical Annotation System)**을 제안한다. 시스템 아키텍처와 워크플로우는 다음과 같이 정의된다:

• 하드웨어 구성: 시스템은 5 MP 산업용 카메라, 추적된 포인터가 포함된 모션 트래킹 시스템, 그리고 시각적 피드백을 위한 프로젝터로 구성된다. 모든 구성 요소는 작업 공간 90cm 위에 견고한 구조물에 장착된다.
• 캘리브레이션 및 변환:
  • 피벗 캘리브레이션(Pivot Calibration): 여러 포즈를 기반으로 선형 방정식 시스템을 풀어, 장치의 동적 참조 프레임(DRF)에 대한 포인터 팁의 고정 위치를 결정한다.
  • 시스템 캘리브레이션(System Calibration): 0.5mm 중앙 노치가 있는 비대칭 원형 패턴을 사용한다. 포인터 팁을 이 노치에 배치하여 3D 참조점을 수집하는 동안, 카메라는 2D 이미지를 캡처한다. Perspective-n-Point(PnP) 알고리즘이 카메라-월드 변환($CTW$)과 포인터-월드 변환($WTP$)을 해결한다.
  • 프로젝터 캘리브레이션(Projector Calibration): 확장된 핀홀 모델과 체커보드 및 투영된 회색 패턴을 사용하는 Moreno 등의 방법을 활용하여 프로젝터-카메라 변환($BTC$)을 설정한다.
  • 수학적 정식화: 시스템은 호모그래피 변환 체인과 내적 행렬($K_C, K_B$)을 사용하여 3D 포인터 팁 위치($p^P_{tip}$)를 카메라 이미지의 2D 픽셀 좌표($u_C, v_C$) 및 프로젝터 평면의 좌표($u_B, v_B$)로 매핑한다.
• 어노테이션 프로세스:
  • 현장 상호작용(In-Situ Interaction): 검사자는 추적된 포인터를 사용하여 객체 표면에 직접 궤적(선, 다각형, 바운딩 박스)을 그린다. 정확성을 보장하기 위해 객체 위에 시각적 가이드가 투영된다.
  • 다단계 데이터 생성: 포인터가 기록 중에 결함을 가리는 현상(occlusion, 포인터가 가려짐)을 방지하기 위해, 시스템은 어노테이션과 데이터 캡처를 분리한다.
    1. 궤적 캡처: 정지된 객체 위에서 포인터가 결함을 따라 그린다.
    2. 데이터 추출: 객체를 카메라의 시야 내에서 이동시킨다. 광학 흐름(Optical flow) 기반의 포인트 트래킹 알고리즘이 포인터가 보이지 않는 여러 카메라 프레임에 걸쳐 기록된 궤적을 객체 표면에 "접착(glue)"한다.
  • 출력: 시스템은 표준화된 어노테이션 형식(예: YOLO 좌표, XML, JSON)을 내보내며, 편집 및 일관성을 위해 CVAT API와 직접 통합된다.

주요 기여

1. 현장 기반 포인터 상호작용: IT 전문가가 아닌 사용자도 객체를 가리키는 것만으로 학습 데이터를 생성할 수 있게 하여, 화면 기반 어노테이션 도구의 필요성을 제거한 새로운 접근 방식이다.
2. 워크플로우 통합: 어노테이션 과정을 기존 검사 워크플로우에 내재화하여, 전문가의 지식을 디지털화하는 데 드는 시간과 노력을 줄인다.
3. 광학 흐름을 통한 데이터 증강: 객체의 움직임을 추적하고 다양한 각도에서 촬영된 이미지에 어노테이션 경로를 투영함으로써, 단일 어노테이션 이벤트로부터 여러 학습 샘플을 생성하는 방법이다.
4. 시스템 아키텍처: 3D 공간 상의 상호작용을 오픈 소스 ML 파이프라인과 호환되는 2D 이미지 어노테이션으로 변환하는 완전히 캘리브레이션된 하드웨어 및 소프트웨어 스택을 제공한다.

결과
본 논문은 종합적인 성능 벤치마크보다는 개념의 타당성에 초점을 맞춘 예비 평가 결과를 제시한다:

• 궤적 정확도: 평평한 표면 위에서 다양한 형태(선, 육각형, 사각형, 사인 곡선 및 불규칙한 모양)를 90회 반복하여 추적하는 세 명의 인원을 대상으로 한 예비 실험 결과:
  • 규칙적인 모양의 평균 편차는 0.72 mm였다.
  • 불규칙한 모양의 평균 편차는 1.62 mm였다.
• 워크플ow 검증: 시스템은 상세한 어노테이션 궤적을 캡처하고 이를 CVAT와 통합하는 능력을 성공적으로 입증하여, 제안된 데이터 생성 파이프라인의 타당성을 확인하였다.

의의 및 주장
저자들은 본 연구를 인간의 전문 지식과 자동화된 데이터 생성 사이의 개념적 가교로 정의한다. 주요 의의는 다음과 같다:

• 데이터 생성의 민주화: 도메인 전문가(검사 요원)가 IT 기술 없이도 ML 학습에 직접 기여할 수 있도록 한다.
• 투명성 강화: 데이터 생성 과정을 더 투명하고 통합되게 만들어, 산업 공정 내 AI 도입에 대한 수용성을 높일 수 있다.
• 효율성: 검사 시점에 데이터를 즉시 캡처함으로써 가치 있는 학습 샘플이 누락되는 것을 방지한다.

본 논문은 명시적으로 본 연구의 초점이 개념적 설명 및 기술적 구현에 있음을 밝히고 있다. 저자들은 트래킹 정확도, 어노테이션 효율성 및 실제 대규모 배포에서의 전반적인 시스템 사용성을 검증하기 위해 추가적인 연구가 필요함을 인정한다. 저자들은 이 시스템이 현재 완성된 상용 제품이라는 주장이 아니라, 산업용 AI의 핵심 병목 현상인 학습 데이터 가용성 문제를 해결하기 위한 개념 증명(Proof-of-concept)임을 명시하고 있다.