기술 요약: LightTact

문제 정의

로봇 조작은 물리적 상호작용을 조절하기 위해 촉각 센싱에 크게 의존한다. 시각 기반 촉각 센서(VBTS)는 높은 공간 해상도와 낮은 비용으로 인해 주목받고 있으나, 대부분의 기존 시스템은 변형 의존적 원리에 따라 작동한다. 이러한 센서들은 부드러운 표면의 거시적인 함몰(indentation)을 관찰함으로써 접촉을 추론한다. 이 메커니즘은 액체, 반액체, 초연성 재료 또는 얇은 필름과 같이 변형을 거의 혹은 전혀 일으키지 않는 가벼운 접촉(light contacts) 상황에서는 근본적으로 실패한다.

전반 내부 반사(Frustrated Total Internal Reflection, TIR)를 사용하는 대안적 접근 방식은 변형 문제를 우회하려고 시도하지만, 주변 조명과 내부 반사에 매우 민슐하여 단색 물체를 사용하거나 엄격하게 제어된 어두운 환경이 필요하다는 상당한 한계가 있다. 결과적으로, 비정형화된 일상적 조명 환경에서 가벼운 터치 상호작용을 위한 견고한 픽셀 수준의 접촉 센싱은 여전히 해결되지 않은 과제로 남아 있다.

방법론

저자들은 변형 독립적 광학 원리를 통해 물리적 접촉을 직접 시각화할 수 있도록 설계된 컴팩트한 카메라 기반 손가락 끝(fingertip) 센서인 LightTact를 제시한다.

1. 광학 레이아웃 및 센싱 원리

LightTact는 측면 뷰 이미징 레이아웃을 사용하여 독특한 주변광 차단 광학 구성을 채택한다. 핵심 구성 요소는 특정 각도($\theta_{tv}$)로 설정된 "접촉 표면"과 "관찰 표면"을 가진 투명 매질, 내부 LED, 그리고 카메라이다. 이 시스템은 하나의 픽셀이 실제 물리적 접촉 상태일 때만 가시적이라는 일대일 대응 관계(bijective relationship)를 강제한다.

광학 설계는 비접촉 광원을 억제하고 접촉에 의해 생성된 광원을 전달하기 위해 세 가지 기하학적 조건을 활용한다:

• 외부 광원 제거: 비접촉 영역으로 들어오는 외부 빛은 매질로 굴절된다. 쐐기 각도($\theta_{tv} > 2\theta_c$, 여기서 $\theta_c$는 임계각)로 인해, 이 광선들은 관찰 표면에 $\theta_c$보다 큰 각도로 입사하게 되어 전반사(TIR)를 일으키고 검은색으로 코팅된 내부 표면에 흡수된다.
• 내부 조명 제거: 비접촉 영역에서 발생하는 내부 LED의 경면 반사(specular reflection) 역시, LED가 특정 허용 영역 내에 위치한다면 관찰 표면에서의 전반사에 의해 유사하게 차단된다.
• 접촉 외관 포착: 실제 접촉 지점에서는 공기층이 제거되어 내부 LED 빛이 **확산 산란(diffuse scattering)**을 일으킨다. 이렇게 산란된 광선의 일부는 관찰 표면에 $\theta_c$보다 작은 각도로 입사하여 굴절되어 나오고 카메라에 도달한다.

그 결과, 비접촉 픽셀은 거의 검은색(평균 회색 값 < 3)을 유지하는 반면, 접촉 픽셀은 물체의 자연스러운 시각적 외관을 보존하는 원시 이미지를 생성한다.

2. 센서 설계 및 제작

LightTact는 숙련된 로봇 손에 통합하기 적합하도록 설계된 컴플라이언트(compliant)한 손가락 끝 크기의 센서($12 \times 18 \times 34.5$ mm)이다.

• 복합 매질: 컴플라이언스와 광학적 안정성의 균형을 맞추기 위해, 센서는 투명 젤(접촉 표면)을 단단한 아크릴 창(관찰 표면)에 결합하여 사용한다. 이는 관찰 평면의 변형으로 인한 이미지 왜곡을 방지한다.
• 검은색 젤 층: 부드러운 검은색 젤이 투명 젤을 둘러싸서, 투명 젤에서 단단한 쉘로의 매끄러운 전환을 보장하고 빛의 누출을 방지하기 위해 아크릴 창의 상단을 덮는다.
• 제작: 센서는 3D 프린팅 몰드, 레이저 커팅된 아크릴, 실리콘 캐스팅(XP-565)을 사용하여 제작된다. 제작 과정에는 내부 쉘 표면에 고흡수 검은색 안료를 칠하고 공기 틈을 방지하기 위한 돌출된 테두리 단계를 사용하는 등 빛 차단 경계를 확보하기 위한 구체적인 단계가 포함된다.

3. 접촉 분할(Segmentation)

시스템은 경량 프레임 차분(frame-differencing) 알고리즘을 활용한다. 입력되는 프레임을 참조 이미지(비접촉 프레임의 평균)와 비교함으로써, 밝기 증가를 통해 접촉을 식별한다. RGB 채널에 대한 다중 조건 일관성 테스트를 통해 센서 노이즈와 실제 접촉을 구분하며, 이를 통해 복잡한 딥러닝 모델 없이도 견고한 분할을 가능하게 한다.

주요 기여

1. 변형 독립적 센싱: LightTact는 거시적인 표면 변형 없이도 신뢰할 수 있는 픽셀 수준의 접촉 분할을 달 p하여, 액체, 반액체 및 초연성 재료와의 상호작용을 가능하게 한다.
2. 고대비 광학 설계: 주변광 차단 구성은 비접촉 영역을 거의 검은색 배경으로 만들고 접촉 지점에서는 물체의 자연스러운 외관을 유지하여, 다양한 물체의 외관과 밝은 실내 조명(최대 ~2000 Lux)에서도 견고하게 작동한다.
3. 시각-촉각 정렬: 센서는 단일 RGB 이미지 내에서 공간적, 시간적으로 정렬된 시각 및 촉각 데이터를 제공하며, 접촉 영역은 자연스럽게 물체의 국부적 외관을 드러낸다.
4. 접근성: 센서는 저비용(카메라 제외 20달러 미만)이며, 표준 도구로 재현 가능하고, 하드웨어, 소프트웨어 및 제작 튜토리얼을 포함하여 완전히 오픈 소스로 제공된다.

실험 결과

저자들은 세 가지 주요 차원에서 LightTact를 평가하였다:

• 빛 억제: 실험을 통해 강한 주변 조명(최대 2010 Lux)과 다양한 내부 LED 강도 아래에서도 비접촉 영역이 거의 검은색(평균 회색 값 < 3)을 유지함을 확인하였다. 접촉 영역은 여전히 명확하게 보였으며, 이는 광학 설계의 유효성을 입증한다.
• 변형 독립적 분할: LightTact는 밝은 실내 조명 아래에서 액체(녹즙, 우유), 반액체(치약), 초연성 재료(솜, 스펀지, 두부, 식품 필름)에 대한 접촉을 성공적으로 분할하였다. 이와 대조적으로, 기존의 변형 기반 센서들(9DTact, GelSight, DelTact)은 측정 가능한 함몰이 부족하여 이러한 가벼운 접촉을 감지하는 데 실패하였다.
• 로봇 조작 능력: UFACTORY xArm 7에 통합된 LightTact는 다음을 수행할 수 있었다:
  • 액체 도포(Liquid Spreading): 측면으로 쓸면서 얇은 물 층과의 접촉을 유지함.
  • 반액체 담금(Semi-liquid Dipping): 압력을 가하지 않고도 접촉 깊이를 제어하기 위해 페이셜 크림과의 접촉을 감지함.
  • 박막 상호작용(Thin-Film Interaction): 최소한의 힘(0.05g)으로 0.1mm 두께의 식품 필름 무게에 반응함.
  • VLM 가이드 추론: 접촉 영역의 자연스러운 외관 덕분에 시각-언어 모델(VLM)이 분류 작업을 위해 색상 띠로부터 저항 값을 직접 추론할 수 있었으며, 80%의 성공률을 달성하였다. 기존 센서와 손목 카메라는 외관 데이터의 부재 또는 폐쇄(occlusion)로 인해 이 작업에서 실패하였다.

의의 및 주장

본 논문은 LightTact가 로봇 촉각 인지의 근본적인 간극, 즉 비정형 환경에서 극도로 가벼운 접촉을 견고하게 감지하지 못하는 문제를 해결한다고 주장한다. 변형으로부터 센싱을 분리함으로써, LightTact는 기존 촉각 센서로는 불가능했던 화장품, 식품 필름, 액체 취급과 같은 섬세한 조작 동작을 가능하게 한다.

또한, 저자들은 접촉 영역 내에서 자연스러운 시각적 외관을 보존하는 LightTact의 독특한 능력이 촉각 센싱과 고수준 추론 사이의 간극을 메운다고 강조한다. 이를 통해 VLM이 미세 조정(fine-tuning) 없이도 촉각 데이터를 직접 해석할 수 있게 하여, 부품 분류와 같은 정밀한 추론 작업을 가능하게 한다. 이 연구는 Light-Tact를 힘 기반 또는 변형 기반 센싱이 불충분한 생물 의학, 식품, 인간-로봇 상호작용 분야에서 섬세한 핸들링을 위한 다재다능한 도구로 자리매김한다.