CLARIN-PT-LDB: An Open LLM Leaderboard for Portuguese to assess Language, Culture and Civility

以下是基于论文《CLARIN-PT-LDB: An Open LLM Leaderboard for Portuguese to assess Language, Culture and Civility》的详细技术总结：

1. 研究背景与问题 (Problem)

尽管大型语言模型（LLM）的评估在英语领域已相当成熟，但在欧洲葡萄牙语（European Portuguese, PT-PT） 方面存在显著缺口：

• 缺乏专用排行榜：目前尚无专门针对欧洲葡萄牙语变体的 LLM 排行榜。现有的葡萄牙语排行榜（如 Open Portuguese LLM Leaderboard）主要关注巴西葡萄牙语（PT-BR）。
• 评估维度缺失：现有的葡萄牙语基准测试未能涵盖模型安全（Safeguards） 和 文化对齐（Cultural Alignment） 这两个关键维度。
• 现有基准的局限性：许多英语基准测试已趋于饱和（Saturated），且直接翻译往往无法保留原意或文化背景。此外，部分现有评估依赖 Logits 排序，限制了闭源模型或 API 模型的参与。

2. 方法论 (Methodology)

作者开发了 CLARIN-PT-LDB，一个开源的 LLM 排行榜，包含 10 个基准测试。其核心方法论特点如下：

A. 评估模式：纯生成式 (Purely Generative)

• 所有任务均采用生成式评估，即模型直接生成答案文本，而不是基于 Logits 对选项进行排序。
• 优势：
  1. 兼容闭源模型和 API 模型（无需访问内部 Logits）。
  2. 适用于开放域和封闭域任务。
  3. 更贴近实际应用场景（如聊天机器人）。
• 实现：后端使用 Eleuther's LM Evaluation Harness，通过 YAML 配置文件定义提示词模板、后处理逻辑（如正则匹配）和生成参数。

B. 基准测试构成 (10 个 Benchmark)

排行榜包含 10 个测试集，其中 7 个为新增或针对 PT-PT 定制：

1. Tuguesice-PT (文化对齐)：

   • 来源：从头构建（Manually created from scratch）。
   • 内容：327 个问答对，涵盖社会、地理、历史、政治、美食和体育。
   • 特点：问题隐含葡萄牙文化背景（如“该国最北端的城市”而非“葡萄牙的首都”），旨在测试模型是否真正内化了 PT-PT 文化，而不仅仅是知道事实。
   • 评估：生成答案中是否包含黄金答案（不区分大小写）。

2. DoNotAnswer-PT (模型安全)：

   • 来源：Do-Not-Answer (Wang et al., 2024b) 的欧洲葡萄牙语 curated 翻译。
   • 内容：939 个请求，涵盖 61 类“特定危害”（如暴力、种族主义、非法内容）。
   • 评估：使用 Llama 3.3 70B Instruct 作为裁判模型（Judge Model），将回答分类为拒绝、反驳、免责声明或合规回答。

3. MuSR (思维链推理)：

   • 来源：MuSR 的 PT-PT 自动翻译（使用 Google Cloud Advanced Translation API）。
   • 内容：756 个实例，包含长叙事和推理问题（如谋杀谜案），需结合事实进行链式推理。

4. NLU 问答基准 (自动翻译)：

   • 使用 Google Cloud Advanced Translation API 将以下英语基准翻译为 PT-PT：
     • AA-Omniscience-Public (600 实例)：测试知识幻觉，使用 Gemini 2.5 Flash 作为裁判。
     • GPQA Diamond (198 实例)：研究生级别的科学难题，高难度。
     • MMLU (14,042 实例)：广泛的多选题基准。
     • MMLU Pro (12,032 实例)：更难的 MMLU 变体，含 10 个选项。

5. PORTULAN ExtraGLUE (传统 NLP)：

   • 来自 PORTULAN 项目的现有翻译版本，包含 CoPA (500), MRPC (1,730), RTE (3,000)。

C. 基础设施

• 后端：由 PORTULAN CLARIN 研究基础设施支持，配备 2 个 NVIDIA L40S 节点（共 20 张 40GB GPU）和 2 个 NVIDIA RTX Pro 6000 节点（共 2 张 96GB GPU）。
• 前端：基于 HuggingFace Spaces 构建，提供模型提交、结果查看、排序和过滤功能。

3. 关键贡献 (Key Contributions)

1. 首个欧洲葡萄牙语 LLM 排行榜：填补了该语言变体在开源 LLM 评估领域的空白。
2. 引入文化与安全评估：
   • 首创 Tuguesice-PT，专门评估模型对葡萄牙文化的隐性理解。
   • 引入 DoNotAnswer-PT，填补了葡萄牙语模型安全/护栏评估的空白。
3. 纯生成式评估框架：确立了不依赖 Logits 的评估标准，使得闭源模型也能参与公平比较。
4. 开源与可复现性：所有基准、代码和评估流程均公开，促进了科学复现。

4. 实验结果 (Results)

论文展示了当前排行榜上部分模型（Gervásio, Llama, Mistral）的初步结果（见表 2）：

• 模型规模效应：随着参数增加（8B -> 24B -> 70B），性能普遍提升（例如 MMLU 从 ~62% 提升至 ~82%）。
• 微调效果：在 Tuguesice-PT（文化对齐）任务上，针对葡萄牙语数据微调的 Gervásio 模型显著优于其基座模型 Llama（例如 70B 版本：Gervásio 39.76% vs Llama 25.69%），证明了领域微调对文化对齐的重要性。
• 难度差异：MMLU Pro 的得分普遍低于 MMLU，反映了其更高的难度。
• 安全表现：模型在 DoNotAnswer-PT 上表现出较高的拒绝率（83%-91%），表明现有模型具备基本的安全护栏。

5. 意义与影响 (Significance)

• 推动多语言公平性：打破了英语主导的 LLM 评估格局，为欧洲葡萄牙语社区提供了标准化的评估工具。
• 文化敏感性：强调了 LLM 不仅需要“知道”事实，还需要“理解”文化语境，为未来多语言模型的文化对齐研究提供了基准。
• 安全与合规：为评估葡萄牙语模型在有害内容生成方面的表现提供了首个标准，有助于开发更安全的 AI 系统。
• 生态建设：依托 PORTULAN CLARIN 基础设施，促进了葡萄牙语 NLP 研究社区的协作与资源共享。

该排行榜目前托管在 HuggingFace Spaces 上，地址为：https://huggingface.co/spaces/PORTULAN/portuguese-llm-leaderboard。