Eliciting associations between clinical variables from LLMs via comparison questions across populations

기술적 요약: 비교 질문을 통한 LLM 의 임상 변수 간 연관성 유도

문제 제기
대규모 언어 모델 (LLM) 은 다양한 환자 군을 포괄하는 방대한 생의학 문헌으로 훈련되어, 임상 변수 간의 복잡한 상관관계 및 인과 구조를 내재화했을 가능성이 있습니다. 그러나 특정 통계적 관계 (예: "Z 인구에서 X 와 Y 의 상관관계는 무엇인가?") 를 LLM 에 직접 질의하는 것은 여러 함정에 직면해 있습니다. 직접적인 유도 방식은 종종 집합적 지식보다는 특정 회상에 기반한 답변을 산출하며, 아첨 (사용자의 인식된 신념에 맞춰 조정) 에 취약하고, 프롬프트 순서에 민감하며, 환각되거나 사후적으로 합리화된 출력을 생성할 수 있습니다. 더 나아가, LLM 은 자기 성찰적 에이전트로 간주될 수 없으며, 내부 표현이 행동을 통해 추론되어야 하는 실험 대상으로 취급되어야 합니다. 과제는 내부 활성화나 가중치에 접근하지 않고도 인구별 변이를 고려하면서 LLM 으로부터 의미 있는 연관 구조와 잠재적 인과 연결을 복원하는 것입니다.

방법론
저자들은 LLM 을 실험 대상으로 간주하는 프레임워크를 제안하며, 구조화된 비교 질문을 사용하여 암묵적 상관관계를 추론하고, 견고한 인과 후보를 식별하기 위해 불변 인과 예측 (Invariant Causal Prediction, ICP) 을 적용합니다.

1. 트리플릿 비교 질문:
   수치적 상관관계를 요청하는 대신, 이 방법은 3 명의 인공 환자 (1, 2, 3 번) 를 포함하는 트리플릿 질문으로 LLM 을 질의합니다.

   • 설정: 두 변수 $X_j$와 $X_k$에 대해, $X_j$의 값은 세 환자 모두에게 지정됩니다. $X_k$의 값은 3 번 환자에만 지정됩니다.
   • 작업: LLM 은 $X_k$의 값을 고려할 때 3 번 환자가 1 번 환자나 2 번 환자 중 누구와 더 유사한지 판단하도록 요청받습니다.
   • 메커니즘: 기준 환자를 고정하면서 3 번 환자의 $X_k$ 값을 체계적으로 변화시킴으로써, 유사성 결정의 '균형'이 어떻게 이동하는지 관찰합니다. $X_j$와 $X_k$가 LLM 의 표현에서 강하게 상관되어 있다면, $X_k$의 값이 결정에 상당한 영향을 미칩니다.

2. 대리 결정 모델:
   이진 응답 (1 번 환자 대 2 번 환자) 은 통계적 대리 모델을 통해 모델링됩니다. 저자들은 LLM 이 잡음 있는 측정치와 간접적 단서를 기반으로 환자의 실제 상태를 예측하기 위해 역분산 추정을 수행하는 '합리적' 표현을 가진다고 가정합니다.

   • 2 번 환자를 선택할 확률은 3 번 환자의 추정 상태와 기준 중간점 사이의 차이에 대한 로지스틱 함수로 모델링됩니다.
   • 적합된 로지스틱 계수 ($\beta$) 는 근본적인 인구 상관관계 ($\rho$) 와 수학적으로 관련이 있습니다.
   • 대칭 추정기: 변수 스케일링 및 상대적 단서 가중치와 관련된 불필요한 항을 제거하기 위해, 이 방법은 두 번째 질의 세트에서 $X_j$와 $X_k$의 역할을 뒤집습니다. 상관관계는 두 방향성 질의의 기울기 비율의 곱에서 복원되어 대칭 추정치 $\hat{\rho}$를 산출합니다.

3. 프롬프트 환경 변화 및 ICP:
   상관관계에서 인과 추론으로 나아가기 위해, 이 방법은 불변 인과 예측 (ICP) 을 활용합니다.

   • 합성 환경: 저자들은 프롬프트 텍스트를 변경하여 다양한 하위 군집 (예: 흡연력이나 대기 오염 노출과 같은 특정 변수의 다른 평균값) 을 지정함으로써 서로 다른 '환경'을 생성합니다.
   • ICP 적용: 각 프롬프트된 환경에 대해 상관 행렬이 추정됩니다. ICP 는 대상 변수에 대한 회귀 기울기가 이러한 환경 전반에 걸쳐 불변으로 유지되는지 확인하기 위해 후보 예측 변수의 부분 집합을 테스트합니다. 허위 상관관계는 일반적으로 분포 변화 하에서 깨지지만, 진정한 인과 연결은 안정적으로 유지됩니다.
   • 보수적 필터링: 변수는 어떤 불변 집합에서도 제외될 수 없는 경우에만 잠재적 부모로 유지되어, 보수적인 인과 후보 집합을 보장합니다.

주요 기여

• 트리플릿 기반 추출: 모델 내부 (활성화 또는 가중치) 에 접근할 필요 없이 LLM 유사성 판단으로부터 쌍별 상관관계를 복원하는 새로운 프레임워크.
• 인과 평가용 프롬프트 환경: 하위 군집에 대한 프롬프트 설명을 조작하여 환경별 상관관계를 추정하는 방법으로, LLM 에서 파생된 데이터에 ICP 를 적용할 수 있게 함.
• 임상 실증: 만성 폐쇄성 폐질환 (COPD) 과 다발성 경화증 (MS) 의 두 가지 서로 다른 임상 영역에서 검증.

결과
이 방법은 COPD (폐 기능 마커) 및 MS (생체 표지자 및 임상 척도) 데이터셋에 대해 OpenAI 의 gpt-oss-120b 및 gpt-oss-20b 모델을 사용하여 평가되었습니다.

• 모델 적합 및 안정성: 대리 결정 모델은 이진 트리플릿 응답을 잘 적합시켰습니다. 결정 표면은 매끄럽고 단조로우며, 결정 경계는 예상된 상관관계 부호와 일치했습니다 (예: 양의 상관관계 쌍에 대한 음의 기울기).
• 임상적 타당성:
  • COPD: 추출된 상관관계는 강하고 일관된 구조를 보여주었습니다. 폐활량 측정 변수 (FEV1, FEV1/FVC) 는 긴밀한 블록을 형성했으며, 알려진 생리학적 관계 (예: FEV1/FVC 와 공기 가둠 지표 간의 음의 연관성) 가 복원되었습니다.
  • MS: 상관관계는 일반적으로 COPD 보다 약했는데, 이는 훈련 데이터의 문헌이 더 희소하거나 이질적이기 때문일 가능성이 높습니다. 그러나 확립된 쌍 (예: T25FW 와 T2-LV) 은 복원되었습니다.
• 직접 질의와의 비교: 트리플릿 기반 추정치는 직접적인 수치 질의보다 훨씬 덜 노이즈가 많고 안정적이었습니다. 직접 질의는 분산된 분포 (표준 편차 0.1~0.3) 를 생성했으며 환경 변화에 덜 민감한 반면, 트리플릿 추정치는 ICP 에 필요한 전제 조건인 환경 전반에 걸쳐 적절하게 변동했습니다.
• 인과 추론 (ICP):
  • COPD: ICP 는 소수의 보수적 후보 부모를 식별했습니다: pack-years $\to$ DLCO, PM2.5 $\to$ TLC, 그리고 BMI $\to$ R5-R20. 이러한 결과는 확립된 임상 지식 (예: 흡연이 확산 능력을 감소시킴) 과 일치합니다.
  • MS: ICP 는 T1-black-hole-volume 을 EDSS 의 부모로, sGFAP 를 9HPT 의 부모로 식별했는데, 이는 병변 부담과 장애에 대한 메타 분석적 증거와 일치합니다.
• 강건성: 추정치는 서로 다른 기준 값 선택 전반에 걸쳐 안정적이었으며, 모델 크기 (120b 대 20b) 전반에 걸쳐 일관된 상대적 구조를 보였으나, 더 작은 모델은 약간 낮은 절대 상관관계 크기를 산출했습니다.

의의 및 주장
이 논문은 트리플릿 비교를 통한 간접 유도가 LLM 의 암묵적 상관관계에서 모델의 답변 패턴과 일치하는 인과 진술로 이어지는 '신중한 경로'를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

1. 직접 질의의 한계 극복: 이 방법은 상대적 유사성 판단에 의존함으로써 직접적인 수치 질의와 관련된 환각 및 아첨을 피합니다.
2. 행동적 탐구: LLM 을 실험 대상으로 간주하여, 그들이 스스로 진실을 보고할 수 있다고 가정하는 대신 통제된 행동 실험을 통해 임상 관계에 대한 내부 표현을 추론합니다.
3. 데이터 없는 인과 발견: 종종 획득하기 어려운 여러 개인 수준의 임상 데이터셋이 필요하지 않고, 프롬프트 엔지니어링된 '합성' 환경만을 사용하여 불변 인과 예측을 수행할 수 있는 경로를 보여줍니다.

저자들은 겸손하게도, 이 방법이 경험적 임상 진리가 아닌 모델이 암시하는 연관성을 복원한다고 지적합니다. 적합된 기울기에서 상관관계로의 변환은 특정 관계적 가정에 의존하며, 연구는 두 영역과 특정 모델 세트로 제한됩니다. 그럼에도 불구하고, 이 프레임워크는 LLM 내에 표현된 연관 구조를 탐구하는 실행 가능한 탐색 도구로 제공합니다.