UTS at PsyDefDetect: Multi-Agent Councils and Absence-Based Reasoning for Defense Mechanism Classification
PsyDefDetect 시스템의 UTS 는 프롬프트 수준의 규칙에서 결여 기반 추론과 다중 에이전트 심의 위원회를 활용하여 심리적 방어 기제를 분류하는 부문에서 2 위를 기록했으며, 소수 클래스에 대한 체계적 편향을 교정하기 위해 미세 조정된 모델들의 표적 오버라이드 앙상블로 더욱 강화되었습니다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
사람들이 화가 났을 때 왜 그런 말을 하는지 이해하려고 상상해 보세요. 때로는 그들이 단순히 솔직한 것이 아니라, 방어 기제라고 불리는 심리적 "방어" 기술을 사용하고 있는 것입니다. 이러한 방어는 매우 미성숙한 것 (신체적으로 행동하는 것) 에서 매우 성숙한 것 (침착하게 문제를 해결하는 것) 까지 다양합니다.
컴퓨터에게 있어 이러한 방어는 까다롭습니다. 한 사람이 "괜찮아요, 단지 많은 불확실성을 처리하고 있을 뿐이에요"라고 말할 수 있습니다. 표면적으로는 스트레스를 건강하고 성숙하게 처리하는 것처럼 들립니다. 하지만 실제로는 그 사람이 자신의 감정을 숨기고 있는 것입니다. 그들은 있어야 할 감정을 놓치고 있습니다. 컴퓨터에게 있어 있는 것을 찾는 것보다 없는 것을 찾는 것이 훨씬 어렵습니다.
이 논문은 이 퍼즐을 해결하기 위해 스마트한 컴퓨터 시스템을 구축한 팀 (UTS at PsyDefDetect) 에 대해 설명합니다. 그들은 64 개의 다른 팀과 경쟁하여 2 위를 차지했습니다. 그들이 어떻게 했는지 간단히 설명하겠습니다.
1. 핵심 아이디어: "방의 유령"
이 팀은 방어 기제가 부재로 정의된다는 것을 깨달았습니다.
- 비유: 도둑을 찾는 형사를 상상해 보세요. 대부분의 형사는 발자국 (있는 것) 을 찾습니다. 이 팀은 도둑이 실제로는 발자국이 있어야 하는 빈 공간으로 정의된다는 것을 깨달았습니다.
- 적용: 누군가가 비극에 대해 말하지만 슬프지 않게 들린다면, 컴퓨터는 놓친 슬픔이 단서라는 것을 인식해야 합니다. 그들은 이러한 놓친 부분 (놓친 감정, 차단된 사고, 또는 부인된 현실) 을 특히 찾아보도록 "임상 규칙"으로 시스템을 프로그래밍했습니다. 이 단일 트릭은 그들의 성능에 엄청난 부스트를 주었습니다.
2. "전문가 평의회" (심의 평의회)
하나의 AI 에게 추측을 맡기는 대신, 그들은 다중 에이전트 평의회를 구축했습니다.
- 비유: 법정을 상상해 보세요. 단순한 다수결 (가장 일반적인 답변을 항상 선택하는) 로 투표하는 배심원 대신, 전문 변호사 패널이 있습니다.
- 1 단계: 세 가지 다른 "변호사" (AI 에이전트) 가 사건을 살펴보고 가능한 판결을 제안합니다.
- **2 단계:**如果他们 이견이 있다면, 각 가능한 판결에 대한 특정 "옹호자"가 나섭니다. "7 단계" (성숙) 옹호자는 왜 그것이 적합한지 주장합니다. "6 단계" (강박) 옹호자는 왜 그것이 더 잘 맞는지에 대해 주장합니다. 그들은 단순히 "내가 이겼다!"라고 외치는 것이 아니라 증거를 제시합니다.
- 3 단계: 판사가 증거의 강도를 살펴봅니다. 만약 "6 단계" 옹호자가 강력한 증거를 가지고 있다면, 다른 세 에이전트가 "7 단계"에 투표했더라도 그들이 승리합니다.
- 결과: 이 시스템은 그 자체로 매우 좋았지만, 결함이 있었습니다. 가장 일반적인 답변 (7 단계) 에 대해 너무 확신하여 종종 드물고 어려운 사례를 무시했습니다.
3. "L7 흡인자" (중력 문제)
데이터가 심하게 편향되어 있었습니다. 예문의 절반 이상이 "7 단계" (성숙) 였습니다.
- 비유: 방 한가운데 거대한 자석 (7 단계) 이 있다고 상상해 보세요. 공 (대화) 을 어디에 던지든 자석이 그것을 끌어당깁니다. AI 는 그것이 성숙하지 않았을 때에도 "이것은 성숙하다"라고 말하게 계속 끌려갔습니다.
- 문제: AI 는 "확신 있게 틀렸습니다". 드문 답변 (예: 3 단계 또는 4 단계) 을 선택하고 맞출 수도 있었지만, 틀릴 수도 있었고, 일반적인 답변 (7 단계) 을 선택했을 때 특정 사례의 경우 80% 의 확률로 틀렸습니다.
4. "외과적 타격" 팀 (오버라이드 앙상블)
자석 문제를 해결하기 위해 그들은 두 번째 방어층을 추가했습니다: 표적 오버라이드 팀.
- 비유: 평의회를 일상적인 결정을 내리는 총괄 관리자로 생각하세요. 오버라이드 팀은 관리자가 위험한 추측을 할 때만 개입하는 전문 "품질 관리" 부대입니다.
- 작동 방식:
- 그들은 평의회 예측을 살펴보기 위해 세 가지 더 작고 전문화된 AI 모델 (전문 외과 의사처럼) 을 훈련시켰습니다.
- 평의회가 "7 단계"라고 말하지만 전문화된 모델이 "잠깐, 이것은 실제로 6 단계입니다"라고 말하면, 시스템은 증거를 확인합니다.
- 그들은 빌더 - 비평가 - 가드 시스템을 사용했습니다:
- 빌더: 변경 사항을 제안합니다.
- 비평가: 변경 사항이 틀렸음을 증명하려 합니다 (이에 반대합니다).
- 가드: 증거가 확고할 때만 변경 사항을 통과시킵니다.
- 결과: 이 팀은 472 개의 예측 중 16 건의 변경만 수행했습니다. 하지만 그 16 건의 변경은 настолько 정확하여 팀을 3 위에서 2 위로 끌어올렸습니다.
5. "누수된 양동이" 경고
이 논문은 또한 교활한 문제를 발견했습니다.
- 비유: 공부한 문제의 약간 다른 버전이 나오는 시험을 받는다고 상상해 보세요. 공부 가이드의 답을 외우면 100% 를 맞춥니다. 하지만 시험 문제가 공부 가이드와 같은 대화에서 나온 것이라면, 당신은 실제로 배우는 것이 아니라 기억하는 것입니다.
- 발견: 테스트 데이터는 훈련 데이터와 같은 대화를 공유했습니다. AI 가 단순히 대화를 "기억"했다면 97% 의 정확도로 보였습니다. 하지만 그들이 그것을 사기치지 못하게 했을 때 (동일한 대화를 두 번 보지 않도록 함), 정확도는 현실적인 65% 로 떨어졌습니다. 이는 검색 (비슷한 예시 찾기) 이 사기를 피하기 위해 매우 신중하게 수행되어야 함을 가르쳐 주었습니다.
승리 요약
이 팀은 가장 크고 강력한 AI 모델을 사용하여 승리한 것이 아닙니다. 그들은 다음을 통해 승리했습니다:
- AI 에게 무엇이 놓여 있는지 (감정의 부재) 를 인식하도록 가르치는 것.
- 단순한 투표보다 증거가 더 중요한 토론 시스템을 만드는 것.
- 주요 시스템이 확신 있게 틀린 몇 번을 수정하기 위해 소수이고 매우 규율 있는 "교정 팀"을 사용하는 것.
그들의 최종 점수는 마이크로-F1 0.406으로, 63 개의 다른 팀을 제쳤습니다. 그들은 심리학에서 때때로 가장 중요한 단서가 감정이 있어야 할 곳의 침묵임을 증명했습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.