Resumo Técnico: PAK – Um Conjunto de Dados de Personas Sintéticas Baseado em Pesquisas da Força de Trabalho das Artes Culturais Coreanas

1. Declaração do Problema

Os conjuntos de dados de personas sintéticas existentes para modelos de linguagem coreanos são predominantemente de domínio geral e carecem de um vínculo rastreável com estatísticas populacionais. Além disso, nenhum recurso público captura especificamente a força de trabalho das artes culturais coreanas. Embora benchmarks como KoBEST e KorNLI testem a compreensão linguística, e recursos como Nemotron-Personas-Korea forneçam personas coreanas gerais, nenhum oferece um conjunto de dados onde cada atributo quantitativo esteja fundamentado em uma base estatística documentada.

O principal desafio técnico na criação de tal recurso é a natureza dos dados de origem: a Pesquisa de Artistas Coreanos de 2024 (realizada pelo Instituto de Cultura e Turismo da Coreia) publica apenas tabelas marginais e condicionais (ex: campo $\times$ idade, campo $\times$ renda). Ela não libera as distribuições conjuntas completas necessárias para a amostragem de indivíduos sintéticos. Reconstruir essas distribuições conjuntas sem assumir estruturas de ordem superior não relatadas, garantindo ao mesmo tempo que cada marginal relatada permaneça intacta, requer uma abordagem estatística rigorosa, distinta de simples consultas de tabela ou geração de LLM sem fundamentação.

2. Metodologia

2.1 Fonte de Dados e Extração

A fundação do PAK é a Pesquisa de Artistas Coreanos de 2024, que abrange 334.036 artistas registrados em 15 campos distintos (14 campos artísticos específicos mais uma categoria "Outros"), 7 faixas etárias e 17 províncias. A pesquisa relata distribuições para uma amostra estratificada de 5.059 respondentes.

• Estratégia de Extração: O autor desenvolveu um pipeline de extração corrigido usando expressões regulares para analisar o texto bruto, validando se as linhas de porcentagem somam 100% e cruzando as contagens de casos com o PDF de origem. Isso resolveu falhas em ferramentas automatizadas (ex: Camelot, pdfplumber) que lidaram incorretamente com cabeçalhos de múltiplas linhas em tabelas de renda.
• Tabelas de Fundamentação: Quinze tabelas de fundamentação (T1–T15) foram extraídas, capturando contagens populacionais, contagens de respondentes e subblocos condicionais por idade.

2.2 Reconstrução Estatística: IPF por Campo

Para reconstruir as distribuições conjuntas necessárias a partir das marginais publicadas, o PAK emprega um procedimento de Ajuste Iterativo de Proporções (IPF) bidimensional por campo.

• Abordagem: Em vez de um único IPF triplo sobre (campo, grupo de idade, variável) — que se mostrou produzir discrepâncias marginais devido a inconsistências de escala entre pesos populacionais e pesos de respondentes — o método execeuta procedimentos de IPF independentes dentro de cada um dos 15 campos.
• Processo: Para cada campo $f$, o algoritmo escala uma tabela semente (derivada de tabelas cruzadas de grupo de idade $\times$ variável) para corresponder a duas marginais alvo: a condicional de idade da população $P(\text{grupo de idade} | f)$ e a condicional da variável de resposta $P(\text{variável} | f)$.
• Convergência: O IPF itera até que as marginais correspondam dentro de um erro relativo de $10^{-8}$. Isso garante que as distribuições conjuntas geradas sejam consistentes com todas as estatísticas de origem relatadas.

2.3 Amostragem e Geração de Narrativas

O pipeline de geração de dados consiste em uma cadeia de amostragem de 13 nós e um módulo de geração de narrativa:

1. Cadeia de Amostragem:
   • Desenha um campo artístico a partir dos pesos populacionais.
   • Desenha (sexo, faixa etária) condicional ao campo.
   • Deriva um grupo de quatro níveis de idade a partir da faixa de sete níveis de idade.
   • Amostra oito variáveis condicionais (faixa de carreira, emprego, renda, etc.) a partir das distribuições IPF por campo.
   • Amostra província, educação e renda familiar condicional apenas ao campo (já que não existem tabelas cruzadas com idade para estes).
2. Geração de Narrativa:
   • Gera 17 campos narrativos coreanos (ex: vida profissional, histórico cultural, hobbies) pareados com 16 âncoras quantitativas.
   • Engenharia de Prompt: Uma inovação crítica é o prompt condicionado à idade de estreia. Para personas com estreia tardia (idade $\ge$ 40), o prompt instrui explicitamente o modelo a descrever a vida ocupacional pré-estreia e o evento de transição, evitando o modo de falha comum onde os modelos descrevem incorretamente artistas de estreia tardia como tendo se engajado em sua forma de arte desde a infância.
   • Modelo: As narrativas são geradas usando qwen3:30b-a3b (um modelo MoE esparso de 30B) via Ollama.

2.4 Suíte de Validação

O PAK inclui um sistema de validação automatizado de três camadas:

• Camada de Esquema: Impõe estrutura JSON e tipos de campo.
• Camada de Consistência: Usa regex para detectar contradições de linha do tempo (ex: uma persona de estreia tardia alegando engajamento na infância) e incompatibilidades de tom.
• Camada de Pós-Geração: Compara as distribuições empíricas do lote gerado com as estatísticas de origem, exigindo que as taxas de nível de relatório estejam dentro de 5 pontos percentuais e que as tabelas cruzadas de nível de célula correspondam às expectativas do IPF.

3. Principais Contribuições

1. Conjunto de Dados PAK: O primeiro conjunto de dados de personas sintéticas da força de trabalho das artes culturais coreanas, contendo 30.000 personas. Cada persona vincula 16 âncoras quantitativas a 17 campos narrativos coreanos.
2. Metodologia Fundamentada: Uma aplicação inovadora de IPF por campo para reconstruir distribuições conjuntas a partir de dados de pesquisa com apenas marginais, garantindo que cada distribuição quantitativa rastreie até uma célula publicada da Pesquisa de 2024.
3. Framework de Validação: Um framework de validação abrangente incluindo verificações de fatos distributivos, uma auditoria de consistência narrativa (visando especificamente contradições de linha do tempo) e sondagens de utilidade downstream.
4. Estudo de Concordância Humano-Modelo (PAK-1K-eval): Uma auditoria de qualidade envolvendo uma única referência de especialista humano e um painel de julgadores de modelos de linguagem de diversas famílias (Claude Opus 4.7, Gemini 2.5 Pro, etc.) para avaliar fundamentação, coerência, plausibilidade e fluência.
5. Lançamento Aberto: O conjunto de dados, tabelas de fundamentação, código de geração e camada de avaliação são lançados sob CC-BY-4.0, fornecendo um recurso reproduzível sem dependência de registros de resposta privados.

4. Resultados

4.1 Fidelidade Distributiva

• Verificações de Fatos: O conjunto de dados liberado reproduz as estatísticas de origem com alta fidelidade. As taxas de nível de relatório (tempo integral, experiência de contrato, direitos autorais, etc.) estão dentro de 1 ponto percentual da pesquisa publicada.
• Alinhamento Marginal: A marginal de 15 campos corresponde aos pesos populacionais dentro de 0,25 pontos percentuais.
• Consistência de Tabelas Cruzadas: 104 células em tabelas cruzadas de idade-por-variável foram verificadas; cada célula está dentro de 5 pontos percentuais do alvo do IPF, com um desvio absoluto médio de 0,0115.

4.2 Qualidade e Diversidade Narrativa

• Consistência de Linha do Tempo: O prompt condicionado à idade de estreia reduziu a taxa de falha de contradições de linha do tempo em personas de estreia tardia de 26,7% (controle) para 0% (tratamento).
• Diversidade: A distinção lexical (distinct-n) é baixa (0,0009–0,019 para distinct-1), e os escores Self-BLEU variam de 0,83 a 0,95, indicando que o texto segue um esquema fixo em vez de geração livre. No entanto, a análise de diversidade semântica mostra que os rótulos de campo artístico são fracamente separáveis no espaço de embedding (Silhouette score 0,22), confirmando que as narrativas retêm o sinal específico do campo.
• Concordância Humano-Modelo: No estudo PAK-1K-eval, um painel de julgadores de diversas famílias acompanhou a referência humana com concordância moderada a forte.
  • A Plausibilidade mostrou a maior concordância (QWK 0,765, Pearson 0,814).
  • A Fundamentação mostrou menor concordância (QWK 0,613), refletindo a dificuldade de detectar contradições quantitativas através de muitos campos.
  • O juiz da família geradora (qwen3) exibiu preferência própria, inflando escores de estilo e avaliando a fundamentação severamente, validando a necessidade de painéis de modelos disjuntos.

4.3 Utilidade Downstream

• Recuperação de Âncoras: Um modelo TF-IDF leve alcançou um macro-F1 de 0,819 (mascaramento direto) e 0,738 (mascaramento agressivo) na recuperação de âncoras não relacionadas ao campo a partir de narrativas mascaradas, superando significativamente os baselines.
• Correspondência e Recuperação: Um codificador coreano mais forte (BGE-m3-ko) alcançou macro-F1 de 0,856 para consistência de pares difíceis e MRR de 0,754 para recuperação de 10 vias, demonstrando que as narrativas carregam sinais de persona recuperáveis além dos rótulos superficiais.
• Contrafatuais: As narrativas codificam com sucesso edições em certas âncoras (ex: tipo de emprego), mas falham em codificar outras (ex: renda individual, interrupção de carreira) em cenários contrafatuais, fornecendo um diagnóstico do que as narrativas realmente capturam.

5. Significância e Alegações

O artigo posiciona o PAK não como uma nova técnica de modelagem, mas como um recurso de linguagem controlado, fundamentado e reutilizável. Sua significância reside em:

• Rastreabilidade: Ao contrário dos conjuntos de dados de personas de domínio geral, o PAK oferece um "vocabulário de persona controlado" onde cada atributo quantitativo é verificável contra uma fonte pública.
• Especificidade de Domínio: Preenche uma lacuna crítica para o domínio das artes culturais coreanas, fornecendo um recurso que reflete as demografias e estruturas ocupacionais específicas dos artistas registrados na Coreia.
• Rigor Metodológico: Demonstra que dados sintéticos podem ser gerados com rigorosa fundamentação estatística (via IPF) e validados através de uma auditoria de múltiplas camadas, incluindo estudos de concordância humano-modelo que tratam os juízes de IA como instrumentos de triagem, não como substitutos para o julgamento humano.
• Transparência: O lançamento inclui todo o pipeline de fundamentação, permitindo que usuários regenerem o conjunto de dados ou auditem o processo de reconstrução estatística.

O autor declara explicitamente as limitações: o PAK representa personas sintéticas, não indivíduos reais; exclui praticantes não registrados/informais; e os campos narrativos são ancorados semanticamente, mas não são prosa humana polida. O conjunto de dados é destinado para avaliação controlada por âncoras, exemplos de poucos disparos (few-shot) e estudos metodológicos, e não como um substituto para pesquisas empíricas ou uma ferramenta para perfilar pessoas reais.