💻 computer science

Seeing Candidates at Scale: Multimodal LLMs for Visual Political Communication on Instagram

该论文通过比较传统计算机视觉模型与多模态大语言模型（GPT-4o）在 2021 年德国联邦选举期间 Instagram 视觉政治内容分析中的表现，发现 GPT-4o 在识别政治人物和统计人数方面具有更优越的性能，展示了 AI 技术规模化分析政治视觉传播的潜力。

原作者： Michael Achmann-Denkler, Mario Haim, Christian Wolff

发布于 2026-04-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Michael Achmann-Denkler, Mario Haim, Christian Wolff

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文就像是一次**“政治竞选视觉大搜查”**，研究者试图搞清楚：在 2021 年德国大选期间，政客们是如何在 Instagram 上“刷脸”的？更重要的是，他们想测试一下：现在的 AI 能不能像人类一样，甚至比人类更聪明地看懂这些政治图片？

为了让你更容易理解，我们可以把这篇论文想象成一场**“超级侦探训练营”**。

1. 侦探的目标：寻找“主角”和数人头

想象一下，Instagram 是一个巨大的、充满照片和短视频的**“政治秀场”**。

秀场有两种形式：
- 永久帖子（Posts）：像挂在博物馆墙上的精美画作，精心修饰，长期展示。
- 快拍（Stories）：像 24 小时后就会消失的“朋友圈”动态，更随意、更真实、更生活化。
侦探的任务：
1. 认脸：这张图里有没有那个党的“头号候选人”（比如默克尔的继任者们）？
2. 数人头：这张图里到底有几个人？是候选人独自亮相（独唱），还是和一群人在一起（合唱）？

研究者想通过这种“数人头”和“认脸”的数据，来衡量一种叫**“集中可见度”（Concentrated Visibility）的现象。简单说，就是看媒体和政客是不是把聚光灯都打在了那一两个明星候选人**身上，而忽略了其他人和政党整体。

2. 侦探的装备：传统工具 vs. 新式超级大脑

为了完成这个任务，研究者们找来了三组“侦探”进行比赛：

老派侦探（传统计算机视觉模型）：
- 比如 FaceNet 和 RetinaFace。它们就像受过严格训练的**“人脸识别警察”**。它们非常擅长找脸，但有时候太死板。如果候选人戴着口罩、离得远、或者光线不好，它们就容易“瞎眼”或者把背景里的路人甲误认为是候选人。
云端侦探（Google Cloud Vision）：
- 这是一个商业化的**“全能助手”**，能识别物体和人脸，但有时候也会把海报上的人或者背景里的人误数进去。
新式超级大脑（GPT-4o，多模态大语言模型）：
- 这是本次比赛的**“明星选手”。它不像警察那样只盯着像素点，它像一个“有常识的观察者”**。你可以直接给它发指令（Prompt）：“嘿，帮我看看这张图里是不是有那个叫 Olaf Scholz 的人？如果有，算 1 个人；如果没有，算 0 个。”
- 它不仅能“看”，还能“理解”语境。比如，它能分清“这是候选人本人”还是“这是候选人照片的海报”，也能理解“虽然背景有人，但主角只有这一个”。

3. 比赛结果：新式大脑完胜！

经过对 2021 年德国大选期间数千张图片和快拍的测试，结果令人惊讶：

认脸能力：GPT-4o 的表现远超传统模型。它的准确率高达 89%（在快拍中），而传统模型只有 74% 左右。
- 比喻：老派侦探在候选人戴口罩或侧脸时容易抓错人，而 GPT-4o 就像那个经验丰富的老刑警，即使候选人戴着口罩，也能通过眼神和轮廓认出他。
数人头能力：这也是 GPT-4o 的强项。传统模型经常把背景里的人、海报上的人、甚至屏幕里的人全数进去，导致人数虚高。而 GPT-4o 能精准地数出**“画面焦点”**里的人。
- 比喻：老派侦探像是在数“所有能看见的像素点里的人脸”，而 GPT-4o 是在数“故事的主角”。

4. 发现的政治秘密：候选人 vs. 政党

利用这个强大的 AI 工具，研究者还发现了一些有趣的政治现象：

候选人自己的账号 vs. 政党的账号：
- 候选人账号（个人号）：非常喜欢“独唱”。他们发的快拍和帖子，大部分时间都是自己一个人出镜，或者只和少数人在一起。这是在打造“个人品牌”，强调“我就是那个能领导国家的人”。
- 政党账号（官方号）：更喜欢“合唱”。它们发的内容里，候选人经常和其他人、或者整个团队在一起。
- 比喻：候选人像是在经营自己的**“个人网红店”，只卖自己的招牌菜；而政党像是在经营“大型超市”**，展示的是整个货架的丰富性。
快拍（Stories）vs. 永久帖子（Posts）：
- 快拍更像是一个**“后台休息室”**。在这里，候选人更倾向于展示自己“独自一人”或“亲密互动”的一面，显得更随性、更真实。
- 永久帖子则更像**“正式发布会”**，虽然也有个人，但整体看起来更正式。

5. 总结与启示

这篇论文告诉我们两件事：

技术层面：以前的 AI 看政治图片有点“笨”，容易数错人、认错脸。但现在有了像 GPT-4o 这样的**“超级大脑”，我们可以用极低的成本、极快的速度，像人类专家一样分析海量的政治图片。这就像给社会科学家装上了一双“千里眼”**。
政治层面：在 Instagram 上，“个人崇拜”（集中可见度）依然盛行。候选人利用快拍这种“稍纵即逝”的形式，更频繁地把自己作为焦点展示给选民，试图建立更亲密的联系。

一句话总结：
研究者用最新的 AI 技术（GPT-4o）当了一把“超级放大镜”，不仅证明了现在的 AI 能比传统软件更聪明地看懂政治图片，还发现德国政客们在 Instagram 上玩“个人秀”玩得比“团队秀”更溜，尤其是在那些 24 小时就消失的快拍里。

这是一份关于论文《Seeing Candidates at Scale: Multimodal LLMs for Visual Political Communication on Instagram》（大规模识别人选：用于 Instagram 视觉政治传播的多模态大语言模型）的详细技术总结。

1. 研究问题 (Problem)

随着视觉政治传播（Visual Political Communication, VPC）在选举中的重要性日益增加，特别是 Instagram 等视觉优先平台，研究人员面临两大挑战：

数据规模与人工编码的局限性：传统的人工内容编码耗时且难以扩展，无法处理社交媒体上海量的图片和视频数据（如 Instagram 帖子和 24 小时消失的“快拍/Stories"）。
特定分析任务的自动化难题：如何准确地在大规模数据中识别特定的政治人物（如主要候选人）并统计图像中的人数，以量化“集中可见性”（Concentrated Visibility，即视觉内容对特定领导人的过度聚焦）。
新兴模型的性能评估：传统的计算机视觉模型（如人脸识别）与新兴的多模态大语言模型（Multimodal LLMs，如 GPT-4o）在政治传播分析中的表现差异尚不明确。

核心研究问题：

计算方法（传统 CV 模型 vs. 多模态 LLM）在识别 Instagram 帖子和快拍中的政治人物及统计人数方面的自动化分析能力如何？
在 2021 年德国联邦选举中，不同政党账户和候选人账户在“集中可见性”策略上存在何种差异？

2. 方法论 (Methodology)

研究采用计算案例研究法，基于 2021 年德国联邦选举期间的 Instagram 数据。

2.1 数据收集

语料库：收集了 1,424 个 Instagram 快拍（Stories）和 547 个帖子（Posts）。
对象：涵盖 5 个主要政党（CDU, CSU, SPD, 绿党, FDP）及其各自的总理候选人或领跑者（共 5 位关键人物：Laschet, Baerbock, Scholz, Lindner, Söder）。
预处理：将视频提取为第一帧作为静态图像进行分析。

2.2 任务定义

研究将“集中可见性”的操作化定义为两个分类任务：

人物识别：判断图像中是否包含特定的政党领跑者。
人数统计：统计图像中处于焦点位置的人数（分为 0, 1, 2, 3+ 四类）。

2.3 模型对比

研究对比了三种不同的技术路径：

传统深度学习组合：使用 RetinaFace 进行人脸检测，结合 FaceNet512 进行人脸识别和验证。
商业 API：Google Cloud Vision API（用于对象检测和人脸计数）。
多模态大语言模型 (MLLM)：使用 GPT-4o (版本 gpt-4o-2024-05-13)。通过精心设计的提示词（Prompt Engineering），要求模型判断特定人物是否存在，并统计主要焦点人物数量。
- 提示词策略：要求模型先给出判断理由（Comment），再输出 JSON 格式的结果，以避免直接触发安全机制并提高准确性。

2.4 评估与验证

人工标注（Ground Truth）：由 13 名标注员对快拍和帖子进行标注，包括人物识别和人数统计。
评估指标：精确率（Precision）、召回率（Recall）、宏平均 F1 分数（Macro F1-score）。
一致性检验：计算 Krippendorff's $\alpha$ ，将模型视为第 N 个标注员，评估模型与人类标注的一致性。

3. 关键贡献 (Key Contributions)

多模态 LLM 在政治传播分析中的实证评估：首次系统性地比较了传统计算机视觉模型与 GPT-4o 在政治人物识别和计数任务中的性能，证明了 LLM 在零样本（Zero-shot）或少样本场景下的优越性。
针对“快拍”（Stories）的深入分析：填补了现有文献对 Instagram 快拍（Ephemeral content）在政治传播中研究不足的空白，对比了快拍与永久帖子的策略差异。
方法论框架的提出：提供了一个可扩展的、基于提示词（Prompt-based）的自动化视觉分析框架，降低了社会科学研究者进行大规模视觉内容分析的门槛。
发现性别偏见与模型局限性：揭示了传统人脸识别模型在识别女性候选人（Annalena Baerbock）时表现较差，可能源于训练数据的性别偏见或该候选人的特定视觉风格（如佩戴口罩）。

4. 研究结果 (Results)

4.1 模型性能评估 (RQ1)

人物识别 (Face Recognition)：
- GPT-4o 表现最佳：在快拍任务中，GPT-4o 的宏平均 F1 分数达到 0.89，显著高于 FaceNet512 的 0.74。在帖子任务中，GPT-4o 为 0.91，FaceNet 为 0.87。
- 一致性：GPT-4o 与人类标注的 Krippendorff's $\alpha$ 一致性更高（快拍 0.85 vs FaceNet 0.62）。
- 特定案例：GPT-4o 在识别绿党候选人 Baerbock 时 F1 分数高达 0.91，而 FaceNet 仅为 0.66（召回率仅 0.50），显示出传统模型在特定性别或风格上的偏差。
人数统计 (Person Counting)：
- GPT-4o 再次胜出：在快拍中，GPT-4o 的宏平均 F1 分数为 0.86，远超 RetinaFace (0.48) 和 Google Cloud Vision (0.58)。
- 错误模式：传统模型（RetinaFace, GCV）倾向于高估人数（将背景人脸、海报上的人或屏幕中的人误计为前景人物）。GPT-4o 能更好地理解“焦点”和“主要主体”，从而更准确地计数。

4.2 集中可见性模式分析 (RQ2)

账户类型差异：
- 候选人账户：更倾向于展示候选人本人（C1 或 C+ 类别），个人化程度高。例如，Söder 的快拍中 56% 是单人出镜。
- 政党账户：更多展示群体或无特定人物（C0 类别），较少聚焦单一领导人。
- 统计检验显示，政党账户与候选人账户在视觉策略上存在显著差异（ $\chi^2$ 检验显著）。
快拍 vs. 帖子：
- 快拍 (Stories)：政党账户在快拍中较少使用集中可见性策略（73.4% 无候选人），而候选人账户则大量使用。
- 帖子 (Posts)：政党账户在帖子中展示候选人的比例显著高于快拍。
- 这表明政党利用快拍进行更灵活、非正式的互动，而利用帖子进行更正式的形象展示；候选人则利用快拍强化个人品牌。

5. 意义与启示 (Significance)

技术范式转变：研究证明，对于复杂的视觉政治分析任务（如区分前景/背景、理解语境），多模态大语言模型（MLLM）优于传统的专用计算机视觉模型。MLLM 通过提示词工程（Prompt Engineering）能够更灵活地处理语义和上下文，而无需针对特定任务重新训练模型。
研究可及性：使用 GPT-4o 等 API 比部署和维护本地深度学习模型（如 FaceNet + RetinaFace）更易于访问，且成本可控（单次请求约 0.01 美元），使得大规模视觉分析对社会科学领域更加可行。
政治传播策略洞察：
- 揭示了德国政党在 Instagram 上存在明显的“互补策略”：候选人利用快拍进行个人化、幕后展示（Backstage），而政党账户则保持相对克制。
- 指出政党在快拍中未能充分利用“集中可见性”来吸引年轻选民，存在策略上的错失机会。
伦理与局限性反思：
- 强调了闭源模型（如 GPT-4o）在透明度、可复现性和数据隐私方面的潜在风险。
- 指出了现有模型在处理戴口罩、模糊图像或特定性别/种族群体时的偏见问题，呼吁未来研究需关注算法公平性。

总结：该论文不仅验证了 GPT-4o 在视觉政治传播分析中的卓越性能，为大规模自动化分析提供了新的方法论工具，还通过实证数据揭示了 2021 年德国选举中不同政治行为体在 Instagram 上的差异化视觉策略，为计算社会科学和传播学研究提供了重要参考。