Charting the Growth of Social-Physical HRI (spHRI): A Systematic Review Pipeline Augmented by Small Language Models

기술 요약: 사회적-물리적 HRI(spHRI)의 성장 추적

문제 제식 (Problem Statement)
사회적 의도가 주요 목표인 로봇과의 물리적 상호작용으로 정의되는 사회적-물리적 인간-로봇 상호작용(spHRI)은 로보틱스, 인간-컴퓨터 상호작용(HCI), 햅틱스 분야 전반에서 급격한 성장을 경험해 왔다. 그러나 이 분야는 파편화된 용어, 학문적 사일로(silos), 그리고 일관되지 않은 방법론으로 인해 체계적인 지식 축적이 저해되고 있다. 이 지형을 매핑하기 위해 대규모 체계적 문헌 고찰이 필수적이지만, 방대한 문헌량(본 연구에서는 130,000개 이상의 후보 출판물)은 인간 검토자에게 병목 현상을 일으킨다. 전통적인 스크리닝 방식은 시간이 많이 소요되며, 대규모 언어 모델(LLM)이 잠재적인 해결책을 제시하긴 하지만, 이는 종종 클라우드 접속, 상당한 컴퓨팅 자원, 그리고 탄소 발자국 및 데이터 불투명성에 대한 윤리적 문제를 야기한다. 결과적으로, 비싼 인프라에 의존하지 않으면서도 접근 가능하고, 환경적으로 책임감 있으며, 확장 가능한 스크리닝 도구가 필요하다.

방법론 (Methodology)
저자들은 spHRI의 성장을 조사하고, 스크리닝 보조 도구로서 소형 언어 모델(SLM)의 유용성을 평가하기 위해 사전 등록된 PRISMA 워크플로우를 따라 체계적 문헌 고찰을 수행하였다.

• 데이터 수집: 로봇, 촉각/햅틱스, 그리고 사회적/정서적 개념을 포함하는 정교한 불리언(Boolean) 검색 쿼리를 사용하여 PubMed, IEEE Xplore, Scopus, ACM Digital Library에서 레코드를 검색하였다. 중복을 제거한 후, 초기 데이터셋은 약 182,000개의 레코드로 구성되었으며, 이 중 32,000개를 두 명의 독립적인 인간 연구자가 스크리닝하였다.
• SLM 구현: 네 가지 오픈 소스 경량 SLM(15억 파라미터 이하)을 평가하였다: Llama3.2 (1B), Gemma3 (1B), Qwen3 (0.6B), 그리고 DeepSeek-R1 (1.5B). 이 모델들은 Ollama 프레임워크를 사용하여 소비자급 데스크톱(Intel i5-13600K, NVIDIA RTX4070)에 로컬로 배포되었다.
• 앙상블 전략 (Ensemble Strategy): 모델들은 개별적으로, 그리고 "만장일치 앙상블(unanimity ensemble)"로서 테스트되었다. 앙상블 접근법에서는 네 가지 SLM 모두가 해당 논문을 "관련 있음(include)"으로 예측한 경우에만 인간의 재검토 대상으로 표시되었다. 이 보수적인 규칙은 위양성(false positives)을 최소화하고 인간의 수동 재검토 작업량을 관리 가능한 수준으로 유지하기 위해 설계되었다.
• 평가 지표: 성능은 정확도(accuracy), 재현율(recall), 정밀도(precision), 특이도(specificity), 위양성률(FPR), 그리고 F1 점수를 사용하여 인간 검토자의 레이블과 비교 측정되었다. 통계적 추론에는 홀름-본페로니 교정(Holm–Bonferroni correction)을 적용한 쌍체 비모수 부트스트래핑(paired nonparametric bootstrapping, 10,000회 리샘플링)이 사용되었다.

주요 기여 (Key Contributions)

1. spHRI의 체계적 매핑: 본 연구는 HRI, HCI, 햅틱스, 로보틱스를 아우르는 최초의 포괄적인 체계적 검토를 제공하며, spH리(spHRI)의 개념적 토대와 방법론적 지형을 명확히 한다.
2. HRI에서의 SLM 벤치마킹: 본 논문은 기존 문헌에서 흔히 발견되는 생물 의학이나 소프트웨어 공학 벤치마크를 넘어, 특정하고 미묘한 도메인(spHRI)에서 제목 및 초록 스크리닝에 대한 소비자급 SLM의 성능을 벤치마킹한다.
3. 접근 가능한 리뷰 파이프라인: 로컬에 배포된 저파라미터 모델을 체계적 문헌 고찰에 통합하는 실질적인 워크플로우를 보여줌으로써, 클라우드 기반 LLM에 대한 지속 가능한 대안을 제시한다.

결과 (Results)

• 성장 궤적 (H1 지지됨): 1992년부터 2025년까지의 출판물 수 분석 결과, spHRI 연구는 지난 10년 동안 뚜렷한 가속화를 보이며 지속적이고 비선형적인 성장을 나타냈다. 데이터에 적합된 일반 가법 모델(GAM)은 데이터 분산의 96.9%를 설명하였으며, 이는 spHRI가 신생 하위 분야임을 확인시켜 준다.
• 인간 대비 성능 (H2 기각됨): 단일 SLM이나 결합된 앙상블 모두 인간 검토자의 성능을 따라잡지 못했다. 모든 모델은 모든 지표에서 인간보다 유의미하게 낮은 성능을 보였다 ($p < 0.001$). 그러나 Llama3.2는 논문을 각각 0.21초 만에 스크리닝하며 가장 우수한 단독 일치도(특이도 = 0.9366)를 달 기록했으며, 이는 인간이 소요하는 30~60초에 비해 수십 배 빠른 속도이다.
• 안전망으로서의 유용성 (H3 지지됨): 만장일치 앙상블은 초기 인간 스크리닝에서 놓친 39개의 관련 논문을 성공적으로 식별해 냈다. 이 39개의 논문은 최종 관련 데이터셋(총 379개 논문)의 10.29%를 차지하며, 연구의 사전 정의된 임계값인 5%를 초과하였다.
• 트레이드오프 (Trade-offs): 결과는 정밀도-재현율 트레이드오프를 강조한다. Gemma와 같은 모델은 높은 재현율(0.9794)을 달성했으나 극심한 과잉 포함(위양성률 = 0.9185)을 보였다. 반대로, 앙상블 접근법은 매우 선택적이었으며(정밀도 = 0.2202), 위양성률이 매우 낮아(0.00161), 검토자에게 위양성 논문을 과도하게 전달하지 않으면서도 놓친 논문을 잡아내는 "안전망" 역할을 효과적으로 수행했다.

의의 및 주장 (Significance and Claims)
본 논문은 SLM이 전문적인 인간 검토자를 대체하는 것이 아니라, 대규모 문헌 고찰을 가능하게 하는 **증강 도구(augmentative tools)**로 간주되어야 한다고 주장한다. 저자들의 주장은 다음과 같다:

• SLM은 놓친 관련 연구를 복구하는 신뢰할 수 있는 "2차 필터" 역할을 할 수 있으며, 이를 통해 체계적 문헌 고찰의 포괄성을 높일 수 있다.
• 로컬에 배포된 소형 모델은 고성능 클라우드 컴퓨팅이나 비싼 API 크레딧에 접근할 수 없는 연구실에서도 엄격하고 대규모의 종합 연구를 수행할 수 있도록 하여 체계적 문헌 고찰 과정을 민주화한다.
• spHRI 분야는 별도의 하위 분야로 인식될 만큼 성숙했으나, 그 파편화된 특성은 인간의 노력만으로는 규모를 키우기 어려운 종류의 체계적 합성을 요구하며, 따라서 AI 지원 워크플로우가 미래 연구 통합에 필수적이다.

저자들은 이진(신뢰도 없음) SLM 출력과 단일 패스 인간 스크리닝의 사용을 포함한 한계를 인정하며, 이는 검토자 간 신뢰도 분석을 불가능하게 한다. 이들은 본 연구를 프롬프트 개선, 대안적 앙상블 탐색, 그리고 향-후 전체 데이터셋으로의 스크리닝 확장을 위한 토대를 구축하는 최신 보고서(LBR)로 규정한다.