TSAssistant: A Human-in-the-Loop Agentic Framework for Automated Target Safety Assessment

다음은 논문 "TSASSISTANT: 자동화된 표적 안전성 평가를 위한 인간 - 루프 에이전트 프레임워크"에 대한 상세한 기술 요약입니다.

1. 문제 제기

**표적 안전성 평가 (TSA)**는 신약 개발 초기 단계에서 인간 내에서 생물학적 표적을 조절할 때 발생할 수 있는 잠재적 부작용을 평가하는 데 사용되는 핵심 과정입니다. 이는 다섯 가지 서로 다른 영역에서 이질적인 증거를 종합하는 과정을 포함합니다:

1. 유전적: 표적 교란과 표현형 사이의 연관성을 보여주는 인간 변이.
2. 전사체: 조직 특이적 발현 프로파일.
3. 표적 동질성: 다른 단백질과의 서열/구조적 유사성 (오프 - 타겟 위험).
4. 약리학적: 동일한 표적을 조절하는 알려진 약물의 효과.
5. 임상: 임상 등록부에서 확인된 부작용 신호.

현재의 과제:

• 수동 및 비표준화: 과정이 대부분 수동으로 이루어져 콘텐츠 구성의 불일치, 깊이 수준의 차이, 그리고 낮은 재현성을 초래합니다.
• 확장성 문제: 증거 기반이 커짐에 따라 대규모 표적 포트폴리오에 걸쳐 데이터를 종합하는 것은 시간이 많이 소요되며 지식 공백에 취약합니다.
• 현재 AI 의 한계: 일반적인 대규모 언어 모델 (LLM) 은 일관성과 재현성이 부족합니다. 도구 증강 LLM 과 다중 에이전트 시스템이 존재하지만, 고위험 의약품 안전 결정에 필요한 추적 가능성, 인간 감독, 그리고 세밀한 제어가 종종 결여되어 있습니다. 완전 자율 시스템은 할루시네이션과 오류 전파의 위험이 있으며, 이는 규제 환경에서 용납될 수 없습니다.

2. 방법론: TSASSISTANT 프레임워크

TSASSISTANT는 전문가의 권한을 유지하면서 TSA 보고서 초안 작성을 자동화하도록 설계된 다중 에이전트, 인간 - 루프 (HITL) 프레임워크입니다. 이는 소프트 제약 (프롬프트) 과 하드 제약 (프로그래밍적 강제) 을 결합한 하이브리드 아키텍처를 사용합니다.

A. 계층적 지시 아키텍처

복잡성을 관리하고 안정성을 보장하기 위해 에이전트 행동은 3 층 지시 계층에 의해 통제됩니다:

1. 시스템 프롬프트 (1 층): 안정적인 조정 논리, 에이전트 역할, 출력 구조를 정의합니다. 이는 표적과 무관하며 거의 수정되지 않습니다.
2. 도메인 스킬 모듈 (2 층): 검색 전략, 데이터베이스 가중치, 작성 가이드라인 등 섹션별 전문성을 재사용 가능하고 버전 관리된 모듈로 캡슐화합니다. 이를 통해 독성학자는 전체 시스템 논리를 깨뜨리지 않고 특정 도메인 지식을 업데이트할 수 있습니다.
3. 런타임 사용자 지시 (3 층): 특정 질병 적응증, 독점 데이터와 같은 프로젝트별 제약을 최우선으로 주입하여 필요 시 기본값을 재정의합니다.

B. 에이전트 파이프라인 및 분해

시스템은 보고서 생성을 전문 하위 에이전트들의 조정된 파이프라인으로 분해합니다:

• 5 개의 연구 하위 에이전트: 각각 정확히 하나의 TSA 증거 영역 (유전적, 전사체, 동질성, 약리학적, 임상) 을 담당합니다. 섹션 간 오류 전파를 방지하기 위해 문맥 격리 상태에서 작동합니다.
• 3 개의 종합 하위 에이전트: 섹션 간 발견 사항을 통합하여 실행 요약, 결론, 통합 위험 평가를 생성합니다.

C. 프로그래밍적 강제 계층

LLM 프롬프트의 "부드러움"을 해결하기 위해 TSASSISTANT 는 하드 제약을 구현합니다:

• 구조화된 도구 인터페이스 (MCP): 하위 에이전트는 원시 API 에 직접 접근하지 않습니다. 대신 큐레이션된 데이터베이스 (예: Ensembl, UniProt, GWAS Catalog, ClinicalTrials.gov) 에 연결된 표준화된 도구를 사용합니다. 이러한 도구는 LLM 에게 분석 준비가 된 구조화된 데이터를 반환하기 전에 다단계 데이터 엔지니어링 (필터링, 중복 제거, 집계) 을 수행합니다.
• 실행 후크:
  • 실행 전: 보안 점검, 메모리 주입, 입력 유효성 검사.
  • 실행 후: 자연어 추론을 통한 인용 검증, 출력 압축, 무결성 검사.
  • 런타임: 증거 검증 및 섹션 간 일관성을 위한 지속적인 모니터링.
• 지속적 메모리:
  • 도구 메모리: 출처 메타데이터가 포함된 모든 검색된 증거의 내구성이 있고 쿼리 가능한 저장소로, LLM 의 일시적인 컨텍스트 창에서 지식을 분리합니다.
  • 에이전트 메모리: 의존성 그래프에 기반하여 하위 에이전트에 주입되는 완료된 섹션의 압축된 사실적 표현.

D. 상호작용적 정제 루프 (인간 - 루프)

시스템은 인간 전문가가 섹션 수준에서 개입하는 반복적 사이클로 운영됩니다:

• 사용자는 수동으로 콘텐츠를 편집하거나, 새로운 정보를 추가하거나, 추가 소스/그래픽을 업로드하거나, 표적 수정을 위해 특정 하위 에이전트를 다시 호출할 수 있습니다.
• 시스템은 사용자 피드백에 기반하여 검색 전략과 프롬프트 템플릿을 적응시키기 위해 반복 간 대화 메모리를 유지합니다.
• 철학: LLM 은 증거 종합 및 초안 작성을 처리하고, 인간 전문가는 최종 결정 권한과 검증을 유지합니다.

3. 주요 기여

1. 섹션 기반 다중 에이전트 파이프라인: 전문 하위 에이전트가 각 증거 영역을 독립적으로 근거화하고 인용하는 새로운 아키텍처로, 전체 보고서를 재생성하지 않고도 모듈식 작업 분배와 표적 수정을 가능하게 합니다.
2. 3 층 지시 아키텍처: 조정 논리, 도메인 스킬, 사용자 의도를 분리하는 설계로, 시스템을 불안정하게 하지 않고도 도메인 지식을 독립적으로 업데이트할 수 있게 합니다.
3. 프로그래밍적 강제 계층: 실행 후크와 지속적 메모리 저장소를 사용하여 출력 유효성, 추적 가능성, 제어된 정보 공유를 강제하는 강력한 프레임워크로, 단순 API 래퍼를 넘어 도메인 엔지니어링 워크플로우로 이동합니다.
4. 상호작용적 정제 루프: 섹션 수준에서 인간 감독을 통합하는 HITL 설계로, 조기 오류 감지 및 워크플로우의 점진적 개인화를 가능하게 합니다.

4. 결과 및 평가

이 논문은 50 개 이상의 치료 표적에 적용된 체계적인 평가 프레임워크를 개요로 제시합니다. 포괄적인 정량적 결과는 향후 개정을 위해 보류된 것으로 명시되어 있지만, 평가는 네 가지 차원에 초점을 맞춥니다:

• 사실적 일관성: 주장이 인용된 소스 데이터와 일치하는지 확인 (주장을 지지됨, 지지되지 않음, 모순됨, 또는 할루시네이션으로 분류).
• 증거 완전성: 다섯 가지 증거 영역 내의 모든 주요 안전 관련 하위 주제가 다루어졌는지 확인.
• 구조적 정렬: 내부 TSA 템플릿, 작성 스타일, 증거 우선순위 준수 여부 확인.
• 증거 추적 가능성: 1 차 소스에 대한 검증 가능한 인라인 인용이 포함된 주장의 비율 측정 (규제 준수를 위해 중요).

이 프레임워크는 수동 프로세스에 비해 섹션당 초안 작성 시간과 필요한 정제 반복 횟수를 줄이도록 설계되었습니다.

5. 중요성

• 규제 준수 및 안전: TSASSISTANT 는 의약품 안전 분야에서 추적 가능성과 인간 책임에 대한 중요한 필요성을 해결합니다. 이는 AI 가 전문가 판단을 대체하는 것이 아니라 보완하도록 보장하여 안전 결정에 대한 규제 요구 사항을 충족시킵니다.
• 확장성: 증거 종합 및 보고서 초안 작성의 기계적 부담을 자동화함으로써, 독성학자가 깊이나 일관성을 희생하지 않고도 대규모 표적 포트폴리오에 걸쳐 평가를 확장할 수 있게 합니다.
• 과학적 엄밀성: "하드 제약" (프로그래밍적 후크, 구조화된 도구) 의 사용은 자율 과학 에이전트에서 흔히 발생하는 함정인 LLM 할루시네이션 및 오류 증폭 위험을 완화합니다.
• 의약품 분야 AI 의 미래: TSASSISTANT 는 고위험 규제 영역에 에이전트 AI 를 적용하기 위한 청사진 역할을 하며, 자동화 효율성과 전문가 감독 및 감사 가능성의 필요성 사이의 균형을 어떻게 맞추는지 보여줍니다.

요약하자면, TSASSISTANT 는 신약 개발에서 가장 중요한 단계 중 하나를 위한 구조화되고 재현 가능하며 인간 중심의 프레임워크를 제공함으로써 AI 증강 의약품 안전 과학을 향한 중요한 걸음을 나타냅니다.