2639 편의 논문
이 논문은 행동 분석과 개입 기반 방법을 결합하여 다양한 아키텍처의 대규모 언어 모델에서 문맥 학습 (ICL) 의 내부 메커니즘을 탐구하며, 특히 기능 벡터가 매개변수 지식 검색에 중요한 역할을 하지만 Mamba2 는 다른 메커니즘을 사용할 수 있음을 규명했습니다.
이 논문은 소규모 오픈소스 LLM 이 다단계 추론 문제를 해결할 때 Supervised Fine-Tuning 과 Reinforcement Learning 의 한계를 극복하기 위해, 전문가 행동과 유사한 단계별 논리적 행동을 생성하도록 학습시키는 'Supervised Reinforcement Learning (SRL)' 프레임워크를 제안하고, 이를 통해 추론 및 소프트웨어 엔지니어링 작업에서 뛰어난 성능을 입증합니다.
이 논문은 GPT-3.5 의 오류를 분석하고 Llama 3.1 70B 를 활용해 이를 수정한 고품질 데이터로 작은 오픈소스 모델을 미세조정하는 'Analyze-Revise-Finetune' 파이프라인을 제안하여, 고객 서비스 요약 분야에서 더 큰 독점 모델보다 우수한 성능을 달성하고 비용 효율성과 데이터 프라이버시를 개선하는 방법을 제시합니다.
이 논문은 크레타, 키프로스, 폰토스, 북부 그리스어 등 기존 데이터를 확장하고 6 가지 새로운 그리스 방언을 추가하여 총 10 개 방언 637 만 단어로 구성된 대규모 데이터셋 'GRDD+'를 구축하고, 이를 통해 다양한 LLM 아키텍처의 미세 조정 성능을 최첨단 모델과 비교 평가한 연구를 소개합니다.
이 논문은 방사선 보고서의 명시적 불확실성을 정량화하고 암시적 불확실성을 진단 경로 기반으로 확장하는 프레임워크를 제안하여, 불확실성을 고려한 이미지 분류 및 진단 추론을 가능하게 하는 'Lunguage++'라는 향상된 벤치마크를 공개했습니다.
이 논문은 두 개의 반대되는 미세조정 가중치 차이를 계산하여 모델 파라미터를 산술적으로 조작하는 '대비 가중치 조향 (contrastive weight steering)' 기법을 제안함으로써, 제한된 훈련 데이터로도 시크피언시 (sycophancy) 와 같은 원치 않는 행동을 완화하거나 의도적으로 유도하면서도 모델의 일반적 능력을 유지하고 훈련 중에는 나타나지 않는 잠재적 오정렬을 탐지할 수 있음을 보여줍니다.
본 논문은 대규모 언어 모델이 특정 페르소나 역할을 부여받을 때 도덕적 판단이 어떻게 변화하는지 분석하여, '도덕적 취약성'과 '로버스트성'을 정량화하고 모델 계열 및 크기에 따른 차이를 규명했습니다.
이 논문은 대규모 언어 모델의 학습 데이터 추출 파이프라인에 여러 멤버십 추론 공격 기법을 통합하여 적용함으로써, 기존 벤치마크 결과와 비교 분석하여 실제 추출 시나리오에서의 실용성을 체계적으로 평가합니다.
이 논문은 트랜스포머 모델의 어텐션 헤드 개입이 상관관계 관찰을 넘어 인과적 메커니즘 검증과 AI 안전을 위한 행동 제어에 이르는 해석 가능성 연구의 패러다임 전환을 어떻게 주도했는지 탐구합니다.
이 논문은 남슬라브어군 7 개 언어의 웹 코퍼스 (CLASSLA-web 2.0) 를 구축하여 어휘량을 대폭 확장하고 주제 라벨을 추가했으나, 2 년 만의 재크롤링에서도 콘텐츠의 80% 가 새로 생성되었음과 동시에 기계 생성 사이트의 증가로 인한 웹 콘텐츠의 질적 저하라는 새로운 과제를 드러냈음을 보고합니다.
이 논문은 자연어 질의와 심볼릭 악보 간의 불일치로 인해 기존 대형 언어 모델이 다루기 어려웠던 복합적 음악 정보 검색 (MIR) 을 해결하기 위해, 실제 사용자 시나리오에 기반한 벤치마크 'CSyMR-Bench'와 이를 위한 도구 기반 추론 프레임워크를 제안하고, 이를 통해 모델의 정확도를 5-7% 향상시켰음을 보여줍니다.
이 논문은 결정적 동역학과 유한한 아키텍처 하에서도 BERT-6 모델의 개별 어텐션 헤드가 특정 토큰이나 레이블을 학습하는 단노드 수준의 자발적 대칭성 깨짐을 발견하고, 노드 수 증가에 따른 학습 능력의 전이 현상을 규명했습니다.
이 논문은 소량의 주석 데이터로도 복잡한 다중 의도를 효과적으로 반영한 텍스트 수정을 생성할 수 있도록, LLM 의 계층 중 의도 학습에 적합한 부분집합을 동적으로 선택하여 전이하는 'Intention-Tuning' 프레임워크를 제안합니다.
이 논문은 인간의 독서 방식을 모방하여 중요한 내용은 정독하고 덜 중요한 내용은 요약하는 적응형 하이브리드 전략을 통해 긴 문맥의 계산 효율성을 높이고 성능을 개선한 RAM(Read As HuMan) 프레임워크를 제안합니다.
이 논문은 LLM 의 의미 이해와 지식 그래프 임베딩의 구조적 추론을 상호 보완적으로 결합한 LEC-KG 프레임워크를 제안하여, 특히 희소 관계가 많은 지속가능발전목표 (SDG) 와 같은 도메인별 비정형 텍스트로부터 고품질의 지식 그래프를 구축하는 방법을 제시합니다.
이 연구는 행동 변화 시스템에서 성격 기반 개인화가 개별 메시지 평가보다는 사용자의 누적 노출을 통해 전반적인 지각과 정서에 더 큰 영향을 미친다는 것을 밝혀냈습니다.
이 논문은 기존 사실성 중심의 평가가 임상적 위험을 간과한다는 점을 지적하고, 모델이 생성한 환각 콘텐츠의 실제 행동 가능성과 잠재적 위해성을 정량화하는 '위험 민감도 평가 프레임워크'를 제안하여 의료용 대형 언어 모델의 안전성 평가 방식을 개선합니다.
이 논문은 베트남어 다지선다형 독해 모델이 정답 선택과 함께 그 근거를 설명할 수 있도록 하는 새로운 데이터셋과 'ViMultiChoice'라는 방법을 제안하며, 이를 통해 기존 베이스라인을 능가하는 성능을 달성하고 설명 생성과 정답 예측의 공동 학습이 정확도 향상에 기여함을 입증했습니다.
이 논문은 불필요한 반성으로 인한 계산 오버헤드를 줄이면서도 정확도를 향상시키기 위해 문제 복잡도에 기반한 적응형 반성 및 길이 조정 패널티를 도입한 강화 학습 프레임워크 ARLCP 를 제안하고, 이를 통해 대형 추론 모델의 효율성과 정확도 간의 균형을 크게 개선함을 보여줍니다.
이 논문은 Frontier LLM 평가 벤치마크인 '인류의 마지막 시험 (HLE)'의 노이즈 문제를 해결하기 위해 전문가 검토와 모델 기반 교차 검증을 통해 문제를 검증하고 수정한 'HLE-Verified'를 구축하여, 오류 수정을 통해 모델 평가의 정확성과 신뢰성을 크게 향상시켰음을 보여줍니다.