When Validating the Judge Changes the Result: Instability in Human Validation of LLM Safety Graders
이 논문은 LLM의 안전성 판단에 대한 인간의 검증이 매우 불안정하며 블라인드 테스트나 주석 작성자 수와 같은 절차적 요인에 의존하여, 모델의 안전성 임계치 통과 여부를 임의로 결정할 수 있는 상충되는 결과를 종종 낳는다는 점을 입증한다.
3854 편의 논문
이 논문은 LLM의 안전성 판단에 대한 인간의 검증이 매우 불안정하며 블라인드 테스트나 주석 작성자 수와 같은 절차적 요인에 의존하여, 모델의 안전성 임계치 통과 여부를 임의로 결정할 수 있는 상충되는 결과를 종종 낳는다는 점을 입증한다.
이 연구는 다중 스케일 공간 주파수 필터링과 비전 트랜스포머 분석을 통해, 모나리자의 인지된 행복감이 직접적인 중심와 시야(미세 공간 주파수)에 비해 주변부 또는 원거리 시야(거친 공간 주파수)에서 유의미하게 더 높게 나타나며 직접적인 시야에서는 표정이 중립이나 슬픔으로 변화한다는 것을 입증함으로써, 신경생물학자 마거릿 리빙스턴의 '포착하기 어려운 미소'에 관한 가설을 검증한다.
본 논문은 5개 텍스트 전통에 걸친 비판적 장치, 산디(sandhi) 및 운율 변이형에 대한 특화된 처리, 그리고 이 저자원 언어에 대해서는 이전에는 불가능했던 고급 계산 언어학적 과업을 가능하게 하는 높은 범위의 표제어 추출을 특징으로 하는 160만 토큰 규모의 팔리어 경전 오픈 액세스 표제어 추출 코퍼스를 제시한다.
이 논문은 AI가 생성한 중국 칠기(lacquerware)를 평가하기 위해 박물관에 기반한 감사 프레임워크인 '문화적 환각(Cultural Hallucination)'을 소개하며, 자동화된 지표는 체계적인 형태 오류를 감지하는 데 실패하는 반면 인간의 판정은 특히 진한(Qin-Han) 시대 귀 모양 잔(ear-cups)과 같은 특정 기물군 내에서 역사적 증거와 상당한 모순이 있음을 확인해 준다는 점을 밝히고 있다.
이 연구는 그리스 텍스트에 대한 네 가지 파피로학적 작업에 대한 특정 문자 오류율 임계값을 설정하며, 정확도 요구 사항은 작업에 따라 상이하지만(3%에서 20% 사이), 노이즈가 있는 데이터로 모델을 재학습시키는 것이 성능 저하를 유의미하게 완화하고 불완전한 HTR 시스템을 실질적으로 유용하게 만든다는 점을 입증한다.
본 연구는 범용 AI 에이전트가 원시 데이터로부터 최종 보고서에 이르기까지 복잡한 법의학적 3D 신장 재구성 워크플로우를 자율적으로 개발하고 실행할 수 있음을 입증하며, 부분적인 정확도를 달age했으나 이는 엄격한 인간의 검증 없이는 기술적 완결성이 과학적으로 올바른 결과를 보장하지 못한다는 점을 강조한다.
이 논문은 단순한 모델 신뢰도를 넘어 데이터 충분성 및 분포적 친숙도와 같은 요인들을 결합한 다차원 신뢰도 게이트형 선택적 예측 프레임워크가 뚜렷한 고위험 환자 하위 집단을 식별하고 임상 AI에서 인간의 검토가 필요한 사례 수를 실질적으로 줄임으로써 기존의 신뢰도 기반 유예 방식보다 크게 우수한 성능을 보임을 입증한다.
본 논문은 고밀도 실제 샘플로부터 과립형 볼(granular balls)을 생성하고, 복잡한 데이터셋에 대한 정확도와 효율성을 향상시키기 위해 과립형 볼 중심 수준에서 KLIEP 기반의 상대적 확률 밀도 가중치를 적용함으로써 트윈 서포트 벡터 머신(Twin Support Vector Machines)을 개선하는 강건한 분류 방법인 RPDLDGBTWSVM을 제안한다.
본 연구는 네트워크 디지털 트윈 및 제로 터치 그린 네트워킹 애플리케이션에 적합한 가볍고 라우터별 특화된 접근 방식을 통해, 실제 트래픽 텔레메트리를 사용하여 캐리어급 라우터의 전력 소비를 정확하게 예측함으로써 높은 정밀도를 달성하는 누출 저항성 및 불확실성 인지 머신러닝 모델을 개발한다.
이 연구는 아랍어 법률 텍스트에서 입법적 공백을 식별하고 평가하는 거대 언어 모델의 능력을 평가하며, 모델이 누락을 탐지하고 논거를 생성하는 데는 효과적이지만, 그러한 공백의 헌법적 중요성을 결정하는 데 있어서는 실제적인 결함과 의도적인 입법적 선택을 구별하기 위한 인간의 법적 판단이 필요하다는 점을 밝혀냈다.