What Are They Filtering Out? An Experimental Benchmark of Filtering Strategies for Harm Reduction in Pretraining Datasets
この論文は、大規模言語モデルの安全性向上のためのデータフィルタリング戦略が有害コンテンツの削減に寄与する一方で、差別の対象となる脆弱な集団のデータ表現をさらに低下させるという副作用を、体系的なベンチマーク研究を通じて明らかにしたものである。
💬 Category
cs.CL
2028 件の論文
When ChatGPT is gone: Creativity reverts and homogeneity persists
ChatGPT は創造的タスクにおける一時的なパフォーマンス向上をもたらすものの、その使用が終了すれば人間の創造性は基線レベルへ戻り、長期的にはコンテンツの画一化を招き、人間の創造性を制限する可能性があることを示した研究です。
Anticipating Safety Issues in E2E Conversational AI: Framework and Tooling
この論文は、価値感受性設計の原則に基づき、エンドツーエンドの対話 AI の安全性課題を包括的に調査し、モデルのリリース判断を支援するフレームワークとツール群を提案するものである。
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT は、ラベル付けされていないテキストから左と右の文脈の両方を同時に考慮して深層双方向表現を事前学習する新しい言語モデルであり、追加の出力層のみで微調整を行うことで、多様な自然言語処理タスクにおいて最先端の性能を達成します。
Attention Is All You Need
本論文は、再帰や畳み込みを排しアテンション機構のみに基づく新たなネットワーク「Transformer」を提案し、機械翻訳や構文解析などのタスクにおいて、既存の最良モデルを上回る精度と効率的な並列処理を実現したことを報告しています。
Efficient Estimation of Word Representations in Vector Space
この論文は、大規模なデータセットから単語の連続ベクトル表現を効率的に学習する2つの新しいモデルアーキテクチャを提案し、従来の手法よりもはるかに低い計算コストで高い精度を達成し、構文・意味的な単語類似性測定において最先端の性能を示すことを報告しています。