Resumo Técnico: Quem Deve Ser Gerado? Justificando Alvos Demográficos em Geração de Código Aberto

1. Declaração do Problema: O Problema do Alvo Ausente

O artigo aborda uma lacuna fundamental na avaliação de equidade de modelos generativos de código aberto (texto e imagem). Embora as auditorias de equidade existentes meçam a composição demográfica dos resultados do modelo contra uma distribuição alvo, elas tipicamente assumem que o alvo é fornecido ou autoevidente. Isso cria o problema do alvo ausente: quando um prompt especifica um papel e uma localização, mas deixa atributos demográficos (ex: gênero, raça) não especificados, o modelo produz uma distribuição empírica ($\hat{q}_k$), mas não há um padrão justificado ($P^*$) contra o qual avaliá-lo.

Os autores argumentam que os critérios clássicos de equidade de grupo (ex: paridade demográfica, igualdade de chances) pressupõem atributos sensíveis no lado da entrada e decisões sobre indivíduos existentes. Esses critérios não selecionam um alvo agregado no lado da saída para geração ficcional onde não existe uma identidade de verdade fundamental (ground-truth). Consequentemente, as avaliações atuais frequentemente adotam implicitamente a composição ocupacional atual ou distribuições de categorias iguais como alvos sem justificar por que essas distribuições específicas deveriam governar a avaliação.

2. Metodologia: Um Framework de Quatro Compromissos

Os autores formalizam a construção do alvo como uma tarefa de avaliação distinta que requer quatro compromissos logicamente distintos. Este framework separa a construção de um alvo da sentença de equidade.

2.1 Os Quatro Compromissos

1. Objeto Avaliativo, Uso e Unidade de Saída:

   • Objeto: A distribuição das possibilidades representacionais através de gerações repetidas, não a precisão de prever uma pessoa real específica.
   • Uso: Para o estudo, declara-se um "uso de mundo público contemporâneo", perguntando como as gerações distribuem a possibilidade de ser um portador de um papel em um mundo social nomeado.
   • Unidade: Cada personagem focal gerado é uma observação de saída.

2. Admissibilidade Prévia (Identificação e Defesa de Relacionamento):

   • Um prior demográfico (ex: composição populacional, composição da força de trabalho) só é admitido se o avaliador identificar o relacionamento sob o qual ele é proposto e defender por que esse relacionamento concede às pessoas identificadas status representacional.
   • Membro Geográfico: Admitido para uso de mundo público. O local do prompt identifica o público representado; o papel não restringe quem conta como membro desse público.
   • Incumbência Ocupacional: Não admitida para uso de mundo público sob a interpretação de incumbência. A composição atual da força de trabalho é um resultado descendente de processos do mercado de trabalho (educação, discriminação, barreiras) e não se justifica por si mesma como um padrão representacional sem um objetivo independente (ex: simulação de força de trabalho).

3. Alocação:

   • Uma vez admitido um domínio, uma regra deve determinar como a massa representacional é dividida.
   • Alocação de Pessoas Iguais: Na ausência de uma distinção defendida relevante para a alocação, os membros do público admitido recebem peso igual. Isso leva a participações de categoria proporcionais às participações populacionais do público admitido.
   • Invariância de Papel: Sob esta construção, o alvo é invariante de papel ($P^*(A=a|G,R) = P^*(A=a|G)$) porque o papel não altera o público admitido ou a regra de alocação.

4. Operacionalização:

   • O alvo abstrato é instanciado usando uma taxonomia declarada, mapeamento e fonte de referência (ex: dados de população residente de censos ou estatísticas da ONU).
   • O artigo distingue entre admissibilidade (justificativa normativa) e adequação de medição (se a fonte proxy mede com precisão o público admitido).

2.2 As Premissas de Ponte

O artigo distingue entre o score operacional (a discrepância computada entre $\hat{q}_k$ e o alvo construído $P^*_{geo}$) e o estimando de equidade (a divergência teórica em relação a um alvo exaustivamente justificado $P^\dagger$).

• Premissa A: A injustiça composicional é definida como a divergência da composição limite do modelo em relação ao alvo exaustivamente justificado.
• Premissa B: O score operacional estima adequadamente este estimando de equidade. O artigo reconhece que isso requer três substituições (geração finita, proxy de fonte e espaço de construção não exaustivo) e não afirma que estes pontos foram totalmente resolvidos.

3. Configuração Experimental: AP-Bench

Para instanciar este framework, os autores introduzem o AP-Bench, um benchmark composto por 51.840 gerações de seis modelos de fronteira (GPT-5.6, Claude Sonnet 5, Gemini 3.5 Flash, Kimi K3, Llama 4 Maverick, Qwen3.7-Max).

• Escopo: 12 contextos geográficos, 6 papéis (CEO, médico, enfermeiro, engenheiro, professor, faxineiro), e 30 amostras por célula.
• Atributos: Raça/etnia, religião, orientação sexual e um diagnóstico de gênero-para-sexo.
• Prompting: Prompts implícitos (demografia não especificada) e prompts de elicitação conjunta (demografia explicitamente solicitada, mas valores não especificados).
• Construção do Alvo: Admite o prior geográfico sob uma interpretação de membresia geográfica e aplica uma alocação de pessoas iguais usando dados de população residente como a fonte operacional.

4. Resultados Principais

4.1 Divergência Substancial de Alvos Derivados da Geografia

Sob elicitação conjunta, os modelos exibem divergência significativa dos alvos derivados da geografia construídos.

• A divergência de Jensen-Shannon composta de três módulos ($JSD^2$) varia de 0,508 a 0,606 entre os modelos.
• Esta divergência é muito maior do que o que pode ser explicado pela variação de amostra finita (limite de referência superior de 99% $\approx 0,033$).

4.2 Sensibilidade à Escolha do Comparador

O artigo demonstra que as avaliações de equidade são altamente sensíveis à escolha de um alvo.

• Substituir o alvo derivado da geografia por um comparador de categoria igual (atribuindo probabilidade igual a cada categoria, independentemente do tamanho da população) enquanto mantém as gerações e a medição fixas produz mudanças substanciais nos scores.
• A mudança absoluta média no nível da célula em $JSD^2$ varia de 0,279 a 0,355.
• Este deslocamento altera os rankings dos modelos e a classificação de células como "justas" ou "injustas" sob vários limiares de tolerância (12,8% a 40,0% das células mudam de classificação).

4.3 Alvos Ocupacionais vs. Geográficos

Em uma análise diagnóstica de gerações de CEOs nos EUA:

• Os modelos geraram uma alta proporção de personagens femininos/mulheres (77%–100%).
• Comparado ao alvo de incumbência ocupacional (33,0% feminino), isso aparece como um "sucesso" (mais próximo da paridade).
• Comparado ao alvo de membresia geográfica (49,8% feminino), a divergência é significativa.
• O artigo argumenta que adotar o alvo de incumbência implica comprometer a avaliação com a fidelidade aos resultados históricos do mercado de trabalho, o que requer uma defesa separada (ex: simulação de força de trabalho) não presente no uso de mundo público declarado.

5. Significância e Alegações

O artigo faz alegações modestas, porém fundamentais, sobre o estado da avaliação de equidade:

1. A Construção do Alvo é Parte da Avaliação: A construção do alvo não é um passo preliminar, mas um componente central da avaliação de equidade. Fornecer um alvo sem justificativa é insuficiente.
2. Não Existe um Alvo Universal: O artigo não fornece um alvo universal. Em vez disso, fornece um framework de justificativa (os quatro compromissos) que torna explícitos os pressupostos normativos necessários antes que uma distribuição possa servir como um padrão.
3. Rejeição de Alvos Padrão: Argumenta que a incumbência ocupacional não pode servir como um alvo padrão para a representação no mundo público sem um objetivo defendido de forma independente (como a fidelidade à força de trabalho). A membresia geográfica é admitida sob uma premissa de "público representado" para o uso declarado.
4. Ônus da Prova: A principal contribuição é deslocar o ônus da prova. Os avaliadores devem responder explicitamente: O que está sendo distribuído? De quem a representação conta (e por quê)? Como a massa é alocada? Qual fonte instancia o alvo?
5. Distinção de Dano: O artigo esclarece que medir a divergência de um alvo construído é um passo diagnóstico, não uma medida direta de dano representacional. Estabelecer o dano requer premissas adicionais sobre exposição, mecanismo e magnitude.

Os autores concluem que, até que os avaliadores possam justificar explicitamente por que uma distribuição específica merece ser o padrão, as avaliações de equidade permanecem incompletas. O framework permite a rejeição de alvos específicos (ex: ocupacional) ao mesmo tempo em que deixa aberta a possibilidade de outras construções defendidas (ex: alvos corretivos), desde que seus pressupostos sejam explicitamente declarados.