Resumo Técnico: GPF-LIVENEWS

Declaração do Problema

Os Modelos de Linguagem de Grande Escala (LLMs) implantados operam em ambientes não estacionários, onde versões de modelos, camadas de recuperação, sistemas de segurança e entradas do mundo real evoluem continuamente. Embora benchmarks de viés estáticos (por exemplo, CrowS-Pairs, BBQ) sejam úteis para comparações controladas, eles não conseguem capturar como os modelos enquadram eventos recém-emergentes para diferentes públicos solicitados. Falhas socialmente significativas em sistemas generativos frequentemente se manifestam não como toxicidade explícita, mas como enquadramento diferencial: o mesmo evento pode ser apresentado como um risco, uma oportunidade ou um problema de política, dependendo da identidade demográfica especificada no prompt. Inventários estáticos existentes não conseguem detectar essas mudanças porque não utilizam entradas frescas ou prompts estruturados entre grupos de identidade.

Metodologia: GPF-LIVENEWS

O artigo apresenta o GPF-LIVENEWS, um protocolo de avaliação em fluxo e uma instantânea de benchmark projetados para auditar o enquadramento condicionado a grupos em saídas de LLMs de aberto. A metodologia consiste em quatro componentes principais:

1. Fontes de Dados e Expansão

• Entradas em Tempo Real: O sistema utiliza âncoras de notícias frescas (manchetes e descrições curtas) de fluxos ao vivo da BBC e da Reuters. Isso garante que a avaliação esteja fundamentada em eventos atuais, e não em benchmarks estáticos e potencialmente memorizados.
• Framework de Prompt Generalizado (GPF): Cada item de notícia ($x$) é expandido através de uma taxonomia de 42 rótulos de identidade ($g$) abrangendo seis dimensões demográficas (Raça/Etnia, Religião, Gênero/Sexualidade, Geografia, Socioeconômica, Política).
• Famílias de Prompt: O framework aplica sete famílias distintas de prompts ($c$) para consultar o mesmo item de notícia sob diferentes ângulos interpretativos:
  • Impacto, Significado, Perspectiva Comunitária, Visão de Mundo/Valores, Verificação de Viés, Política/Ação e Resposta Emocional.
• Pacotes de Resposta: Para cada modelo, item de notícia, dimensão demográfica e família de prompts, o sistema gera um "pacote de respostas" consistindo em 42 respostas condicionadas à identidade (por exemplo, "Eu sou [Identidade]. Como essa notícia me afeta?").

2. Métricas de Avaliação

Em vez de pontuar prompts individuais, o framework analisa o pacote de respostas para detectar variação. Dois sinais primários são computados:

• Sensibilidade Semântica (Dispersão): Mede a distância semântica par a par entre respostas para diferentes identidades dentro do mesmo pacote. Utiliza embeddings de texto normalizados para calcular o quão distantes os significados das respostas se afastam quando a identidade muda. Uma pontuação de enquadramento contrafactual corrigida por ruído ($SCFS$) também é calculada para garantir que a variação exceda o ruído estocástico ordinário de geração.
• Disparidade de Sentimento: Mede a separação no registro emocional através do pacote usando pontuações compostas do VADER. Calcula o intervalo e o desvio absoluto médio das pontuações de sentimento entre identidades para determinar se o tom emocional muda significativamente com base no público solicitado.

3. Controles e Validade

Para distinguir enquadramento significativo de artefatos de prompt, o protocolo inclui:

• Controles sem Identidade e com Rótulos Aleatórios: Para detectar efeitos de modelo.
• Controles de Geração Repetida: Para estimar e subtrair ruído estocástico.
• Controles de Parafraseamento de Prompt: Para testar a robustez à formulação.
• Notícias Estratificadas: Separando tópicos neutros em relação à identidade (por exemplo, esportes) de tópicos relevantes para a identidade (por exemplo, imigração).

4. Configuração Experimental

O estudo piloto envolveu 12 execuções de monitoramento sobre quatro lotes de notícias, avaliando 23 modelos hospedados da Anthropic, Google e OpenAI. O sistema gerou aproximadamente 7.456 células pontuadas válidas.

Principais Resultados

O estudo produziu vários padrões observados na janela, que os autores enfatizam não são classificações permanentes de equidade, mas sinais de auditoria para um corte temporal específico:

• Famílias de Prompt: Prompts de Política/Ação produziram o maior movimento semântico (maior sensibilidade), indicando que os modelos alteram mais significativamente seu enquadramento sobre consequências e ações com base no público.
• Dimensões Demográficas: As dimensões Gênero/Sexualidade e Socioeconômica elicitaron a maior sensibilidade semântica, enquanto Religião e Orientação Política mostraram menor variação.
• Semântica vs. Sentimento: A variação semântica mostrou diferenciação clara entre dimensões e modelos, enquanto a disparidade de sentimento permaneceu relativamente plana e estreita entre todos os grupos. Isso sugere que os modelos mudam o que enfatizam (significado) mais do que como se sentem (tom).
• Variabilidade dos Modelos:
  • Modelos da OpenAI mostraram a menor sensibilidade semântica média (0,041).
  • Modelos da Google mostraram a maior sensibilidade semântica média (0,056) e a maior disparidade de sentimento.
  • Modelos da Anthropic ficaram no meio-termo.
• Estabilidade: Alguns modelos (por exemplo, Gemini-3-flash-preview) demonstraram alta estabilidade entre notícias (baixo desvio padrão entre lotes), enquanto outros flutuaram significativamente à medida que a mistura de notícias mudava.

Principais Contribuições

1. Protocolo GPF-LIVENEWS: Um framework de avaliação em fluxo que audita o enquadramento condicionado a grupos usando entradas de notícias frescas e ao vivo, em vez de benchmarks estáticos.
2. Análise de Pacote de Respostas: Uma mudança na unidade de análise de prompts isolados para pacotes de respostas condicionadas à identidade, permitindo a medição de enquadramento diferencial.
3. Sinais de Auditoria: A definição de sensibilidade semântica e disparidade de sentimento como métricas complementares para resumir a variação no nível de significado e no nível de tom entre grupos.
4. Artefato Reprodutível: O lançamento de uma instantânea de benchmark versionada (v1) contendo metadados de artigos, modelos de prompt, prompts instanciados, metadados de saída do modelo, tabelas de pontuação e scripts de reprodução.

Significado e Alegações

O artigo posiciona o GPF-LIVENEWS não como uma solução para equidade ou uma classificação definitiva de viés de modelo, mas como uma interface de avaliação sociotécnica para monitoramento contínuo.

• Alegações Modestas: Os autores afirmam explicitamente que pontuações altas indicam enquadramento diferencial, e não necessariamente viés prejudicial. Uma pontuação alta significa que as respostas variaram mais entre identidades; não prova que a variação é socialmente inadequada. Revisão humana é necessária para interpretar se a variação constitui estereotipagem, adaptação cultural ou diferenças legítimas no impacto material.
• Utilidade: O framework é projetado para identificar "pontos críticos" onde auditores humanos devem focar sua revisão. Ele aborda o "alvo móvel" dos LLMs implantados fornecendo um mecanismo para rastrear como o comportamento do modelo muda sob condições do mundo real em transformação.
• Extensibilidade: O design modular permite a adição de novas identidades, famílias de prompts e fontes de eventos sem alterar o pipeline central, tornando-o um conceito de prova para uma arquitetura de avaliação contínua mais ampla para alinhamento e impacto social em ambientes não estacionários.