CheckSupport: A Local LLM-Powered Tool for Automated Manuscript Submission Checklist Selection and Completion

기술 요약: CheckSupport

문제 제기
투명하고 표준화된 보고는 과학적 연구의 재현성에 필수적이지만, 보고 지침 (예: CONSORT, PRISMA, STARD) 준수 여부는 여전히 불일치하고 있습니다. 주요 장벽은 특정 연구를 위한 적절한 체크리스트를 식별하고 이를 정확하게 작성하는 데 필요한 상당한 수동 노력과 도메인 전문성입니다. 기존 자동화 솔루션은 종종 클라우드 기반 대규모 언어 모델 (LLM) 에 의존하며, 이는 데이터 프라이버시, 비용, 재현성, 장기적 접근성에 관한 중대한 우려를 제기합니다. furthermore, 과학 분야에서의 현재 LLM 적용은 종종 생성적 텍스트 합성에 초점을 맞추고 있어, 과학적 보고에 필요한 충실하고 증거 기반의 추출 요구와 일치하지 않을 수 있습니다.

방법론
저자들은 체크리스트 선택 및 작성을 자동화하도록 설계된 오픈소스 로컬 배포형 명령줄 도구인 CheckSupport를 제시합니다. 이 시스템은 Ollama 프레임워크를 사용하여 완전히 오프라인으로 작동하며, 원고 데이터가 사용자의 로컬 하드웨어를 결코 벗어나지 않도록 보장합니다.

• 아키텍처 및 워크플로우: 이 시스템은 모듈형 파이프라인을 따릅니다: 원고 수집 (PDF/DOCX/텍스트) $\rightarrow$ 체크리스트 식별 $\rightarrow$ 체크리스트 파싱 $\rightarrow$ 콘텐츠 추출 $\rightarrow$ 보고서 생성. 이는 표준화된 지침과 사용자 정의 체크리스트 모두를 지원합니다.
• 단계별 프롬프팅 전략: LLM 을 자유 형식의 생성기로 사용하는 대신, CheckSupport 는 이를 제약된 추론 구성 요소로 취급합니다. 이 과정은 네 가지 순차적 단계로 분해됩니다:
  1. 체크리스트 추천: 잘린 원고 발췌문 (첫 2,000 자) 을 기반으로 고정된 목록에서 하나의 체크리스트를 선택하는 원회 (one-shot) 단일 레이블 분류 작업입니다.
  2. 전처리 및 안내 생성: 모델은 설명적 조언을 이끌어내기 위해 더 높은 온도 (0.7) 를 사용하여 어떤 정보를 찾아야 하는지에 대한 일반적 및 섹션별 안내를 추론합니다.
  3. 섹션 수준 텍스트 추출: 시스템은 고정된 5,000 자 창을 사용하여 각 체크리스트 섹션에 해당하는 원고 부분을 추출합니다.
  4. 항목 수준 답변 생성: 각 체크리스트 항목에 대해 모델은 항목 텍스트, 파싱된 지시사항, 그리고 이전에 추출된 섹션 콘텐츠를 기반으로 응답을 생성합니다.
• 추론 제어: 정확성과 재현성을 우선시하기 위해, 시스템은 분류 (0.2) 및 추출 (0.3–0.5) 에 낮은 온도를 적용하고, 확장된 컨텍스트 모델에 대한 의존성을 피하기 위해 고정된 컨텍스트 창을 사용하며, 엄격한 출력 제약을 부과합니다. 환각을 방지하기 위해 정보가 부재할 때 명시적으로 'null'응답을 허용하고 장려합니다.
• 모델 구성: 이 시스템은 모델에 구애받지 않지만, 소비자급 CPU 전용 하드웨어에서 실행 가능한 Llama 3.1 과 같은 지시 튜닝 모델을 기본값으로 사용합니다.

주요 기여

• 로컬 실행 프레임워크: CheckSupport 는 민감한 연구 환경의 데이터 보안 문제를 해결하는 클라우드 기반 AI 도구에 대한 완전히 로컬이고 프라이버시를 보호하는 대안을 제공합니다.
• 구조화된 추론 접근법: 이 논문은 복잡한 보고 작업을 제약된 추론 단계로 분해하여 생성적 유창성보다 충실한 추출을 우선시하는 단계별 프롬프팅 방법론을 소개합니다.
• 오픈소스 구현: 이 도구는 오픈소스 소프트웨어로 출시되어 투명성, 감사, 그리고 다양한 보고 표준에 대한 적응을 가능하게 합니다.
• 이중 기능성: 이는 올바른 보고 지침의 선택과 해당 지침의 증거 기반 작성을 모두 자동화합니다.

결과
2025 년 '방사선학의 AI'로 색인된 100 편의 동료 검토 원고 코퍼스에서 평가된 결과, CheckSupport 는 CPU 전용 하드웨어에서 다음과 같은 성능을 보여주었습니다:

• 체크리스트 추천: 90% 의 전체 정확도를 달성했습니다. 성능은 카테고리에 따라 다양했습니다: 복잡한 'A 형'연구 (새로운 LLM 구조/파인튜닝) 의 경우 86.7%, 'B 형'연구 (실용적 응용) 의 경우 100%, 그리고 적용 가능한 체크리스트가 없는 원고의 경우 80% 였습니다.
• 체크리스트 완성: 88% 의 전체 항목 수준 정확도를 달성했습니다. 정확도는 'A 형'원고 (80.0%) 에 비해 'B 형'원고 (93.3%) 에서 더 높았습니다.
• 실행 시간: 추천 및 완전한 완성을 포함한 원고당 평균 월클록 시간은 12.5 초였습니다.
• 오류 분석: 오류는 주로 모호한 원고 언어, 소스 텍스트의 불완전한 보고, 또는 경계된 컨텍스트 창 밖으로 떨어진 정보에서 비롯되었습니다. 특히, 시스템은 지지되지 않거나 조작된 콘텐츠의 사례를 전혀 생성하지 않았으며, 누락된 정보를 null 응답으로 성공적으로 플래그했습니다.

의의 및 주장
저자들은 CheckSupport 를 과학적 콘텐츠를 생성하는 도구가 아니라 연구 거버넌스를 위한 인프라로 위치시킵니다. 이 논문은 수동 노력에서 구조화된 보조 자동화로 체크리스트 준수의 부담을 전가함으로써, 시스템이 더 투명하고 재현 가능한 과학적 보고를 지원한다고 주장합니다.

의의와 관련된 주요 주장은 다음과 같습니다:

• LLM 유용성 재정의: 이 연구는 LLM 이 내러티브 생성이 아닌 방법론적 지원과 엄격한 추출에 효과적으로 활용될 수 있음을 보여줍니다.
• 프라이버시와 신뢰: 로컬로 작동함으로써, 시스템은 데이터 유출 및 독점적 의존성에 대한 우려를 해결하여 기관적 신뢰를 조성합니다.
• 휴먼 - 인 - 더 - 루프: 저자들은 이 시스템이 인간의 감독을 대체하기보다 보완하도록 설계되었다고 강조합니다. 이는 보고 격차를 암시적으로 채우는 대신 명시적으로 드러내어, 연구자와 심사자가 전문적 판단이 필요한 영역에 집중할 수 있도록 합니다.
• 문화적 변화: 이 도구는 체크리스트 작성의 장벽을 낮추어, 심사자의 피로를 줄이고 보고 지침을 행정적 의무가 아닌 연구 과정의 필수 구성 요소로 보는 관점을 장려하는 것을 목표로 합니다.