Resumen Técnico: PAK – Un conjunto de datos de personas sintéticas basadas en encuestas del sector de las artes y la cultura coreanas

1. Declaración del problema

Los conjuntos de datos de personas sintéticas existentes para modelos de lenguaje coreanos son predominantemente de dominio general y carecen de un vínculo rastreable con las estadísticas de la población. Además, ningún recurso público captura específicamente la fuerza laboral de las artes y la cultura coreana. Mientras que benchmarks como KoBEST y KorNLI evalúan la comprensión lingüística, y recursos como Nemotron-Personas-Korea proporcionan personas coreanas generales, ninguno ofrece un conjunto de datos donde cada atributo cuantitativo esté fundamentado en una base estadística documentada.

El principal desafío técnico en la creación de tal recurso es la naturaleza de los datos de origen: la Encuesta de Artistas Coreanos 2024 (realizada por el Instituto de Cultura y Turismo de Corea) publica únicamente tablas marginales y condicionales (por ejemplo, campo $\times$ edad, campo $\times$ ingresos). No publica las distribuciones conjuntas completas necesarias para el muestreo de individuos sintéticos. Reconstruir estas distribuciones conjuntas sin asumir estructuras de orden superior no reportadas, asegurando al mismo tiempo que cada marginal reportada permanezca intacta, requiere un enfoque estadístico riguroso distinto de la simple búsqueda en tablas o la generación de LLM sin fundamento.

2. Metodología

2.1 Fuente de datos y extracción

La base de PAK es la Encuesta de Artistas Coreanos 2024, que cubre 334,036 artistas registrados en 15 campos distintos (14 campos artísticos específicos más una categoría "Otro"), 7 bandas de edad y 17 provincias. La encuesta reporta distribuciones de una muestra estratificada de 5,059 encuestados.

• Estrategia de extracción: El autor desarrolló un pipeline de extracción corregido utilizando expresiones regulares para analizar el texto bruto, validando que las filas de porcentajes sumen 100% y cotejando los recuentos de casos con el PDF de origen. Esto abordó los fallos de las herramientas automatizadas (por ejemplo, Camelot, pdfplumber) que manejaron incorrectamente los encabezados multilínea en las tablas de ingresos.
• Tablas de fundamentación: Se extrajeron quince tablas de fundamentación (T1–T15), capturando recuentos de población, recuentos de encuestados y subbloques condicionados por edad.

2.2 Reconstrucción estadística: IPF por campo

Para reconstruir las distribuciones conjuntas necesarias a partir de las marginales publicadas, PAK emplea un procedimiento de Ajuste Proporcional Iterativo (IPF) bidimensional por campo.

• Enfoque: En lugar de un único IPF tripartito sobre (campo, grupo de edad, variable) —el cual presentó discrepancias marginales debido a inconsistencias de escala entre los pesos de la población y los pesos de los encuestados—, el método ejecuta procedimientos IPF independientes dentro de cada uno de los 15 campos.
• Proceso: Para cada campo $f$, el algoritmo escala una tabla semilla (derivada de tablas cruzadas de grupo de edad $\times$ variable) para coincidir con dos marginales objetivo: la condicional de edad de la población $P(\text{grupo de edad} | f)$ y la condicional de la variable de respuesta $P(\text{variable} | f)$.
• Convergencia: El IPF itera hasta que las marginales coinciden dentro de un error relativo de $10^{-8}$. Esto asegura que las distribuciones conjuntas generadas sean consistentes con todas las estadísticas de origen reportadas.

2.3 Muestreo y generación de narrativas

El pipeline de generación del conjunto de datos consta de una cadena de muestreo de 13 nodos y un módulo de generación de narrativas:

1. Cadena de muestreo:
   • Extrae un campo artístico de los pesos de la población.
     ales de la edad de debut (edad $\ge$ 40), el prompt instruye explícitamente al modelo para que describa la vida ocupacional previa al debut y el evento de transición, evitando el modo de fallo común donde los modelos representan incorrectamente a los artistas de debut tardío como si hubieran estado involucrados con su forma de arte desde la infancia.
   • El modelo utilizado para generar las narrativas es qwen3:30b-a3b (un modelo MoE disperso de 30B) vía Ollama.

2.4 Suite de validación

PAK incluye un sistema de validación automatizado de tres capas:

• Capa de esquema: Fuerza la estructura JSON y los tipos de campo.
• Capa de consistencia: Utiliza expresiones regulares para detectar contradicciones en la línea de tiempo (por ejemplo, una persona de debut tardío que afirma haber tenido un compromiso infantil) y desajustes de tono.
• Capa post-generación: Compara las distribuciones empíricas del lote generado contra las estadísticas de origen, requiriendo que las tasas a nivel de reporte estén dentro de un margen de 5 puntos porcentuales y que las tablas cruzadas a nivel de celda coincidan con las expectativas de IPF.

3. Contribuciones clave

1. Dataset PAK: El primer conjunto de datos de personas sintéticas de la fuerza laboral de las artes y la cultura coreanas, que contiene 30,000 personas. Cada persona vincula 16 anclajes cuantitativos con 17 campos narrativos coreanos.
2. Metodología fundamentada: Una aplicación novedosa de IPF por campo para reconstruir distribuciones conjuntas a partir de datos de encuestas que solo presentan marginales, asegurando que cada distribución cuantitativa se rastree hasta una celda publicada de la Encuesta 2024.
3. Marco de validación: Una capa de validación integral que incluye verificaciones de hechos distribucionales, una auditoría de consistencia narrativa (dirigida específicamente a contradicciones de línea de tiempo) y pruebas de utilidad downstream.
4. Estudio de acuerdo humano-modelo (PAK-1K-eval): Una auditoría de calidad que involucra a una referencia de un experto humano y un panel de jueces de modelos de lenguaje de diversas familias (Claude Opus 4.7, Gemini 2.5 Pro, etc.) para evaluar la fundamentación, coherencia, plausibilidad y fluidez.
5. Lanzamiento abierto: El conjunto de datos, las tablas de fundamentación, el código de generación y la capa de evaluación se lanzan bajo CC-BY-4.0, proporcionando un recurso reproducible sin depender de registros de respuesta privados.

4. Resultados

4.1 Fidelidad distributiva

• Verificación de hechos: El conjunto de datos lanzado reproduce las estadísticas de origen con alta fidelidad. Las tasas a nivel de reporte (tiempo completo, experiencia contractual, derechos de autor, etc.) están dentro de 1 punto porcentual de la encuesta publicada.
• Alineación marginal: La marginal de 15 campos coincide con los pesos de la población dentro de 0.25 puntos porcentuales.
• Consistencia de tablas cruzadas: Se verificaron 104 celdas en las tablas cruzadas de edad-por-variable; cada celda se encuentra dentro de 5 puntos porcentales del objetivo de IPF, con una desviación absoluta media de 0.0115.

4.2 Calidad y diversidad narrativa

• Consistencia de la línea de tiempo: El prompt condicionado a la edad de debut redujo la tasa de fallo de contradicciones de línea de tiempo en personas de debut tardío del 26.7% (control) al 0% (tratamiento).
• Diversidad: La distinción léxica (distinct-n) es baja (0.0009–0.0019 para distinct-1), y los puntajes Self-BLEU oscilan entre 0.83 y 0.95, lo que indica que el texto sigue un esquema fijo en lugar de una generación libre. Sin embargo, el análisis de diversidad semántica muestra que las etiquetas de los campos artísticos son débilmente separables en el espacio de embeddings (puntuación Silhouette 0.22), confirmando que las narrativas retienen la señal específica del campo.
• Acuerdo Humano-Modelo: En el estudio PAK-1K-eval, un panel de jueces de diversas familias de modelos rastreó la referencia humana con un acuerdo de moderado a fuerte.
  • La plausibilidad mostró el mayor acuerdo (QWK 0.765, Pearson 0.814).
  • La fundamentación mostró un menor acuerdo (QWK 0.613), reflejando la dificultad de detectar contradicciones cuantitativas a través de muchos campos.
  • El juez de la familia generadora (qwen3) exhibió preferencia propia, inflando las puntuaciones de estilo y calificando la fundamentación con dureza, lo que valida la necesidad de paneles de modelos disjuntos.

4.3 Utilidad downstream

• Recuperación de anclajes: Un modelo TF-IDF ligero logró un macro-F1 de 0.819 (enmascaramiento directo) y 0.738 (enmascaramiento agresivo) en la recuperación de anclajes no pertenecientes al campo a partir de narrativas enmascaradas, superando significativamente a los baselines.
• Emparejamiento y recuperación: Un codificador coreano más fuerte (BGE-m3-ko) logró un macro-F1 de 0.856 para la consistencia de pares difíciles y un MRR de 0.754 para la recuperación de 10 vías, demostrando que las narrativas portan una señal de la persona recuperable más allá de las etiquetas superficiales.
• Contrafácticos: Las narrativas codifican con éxito ediciones en ciertos anclajes (por ejemplo, tipo de empleo) pero fallan al codificar otros (por ejemplo, ingresos individuales, interrupción de carrera) en entornos contrafácticos, proporcionando un diagnóstico de qué capturan realmente las narrativas.

5. Significación y Reivindicaciones

El artículo posiciona a PAK no como una nueva técnica de modelado, sino como un recurso lingüístico controlado, fundamentado y reutilizable. Su significación radica en:

• Trazabilidad: A diferencia de los conjuntos de datos de personas de dominio general, PAK ofrece un "vocabulario de personas controlado" donde cada atributo cuantitativo es verificable contra una fuente pública.
• Especificidad de dominio: Llena un vacío crítico para el dominio de las artes y la cultura coreana, proporcionando un recurso que refleja la demografía y las estructuras ocupacionales específicas de los artistas registrados en Corea.
• Rigor metodológico: Demuestra que los datos sintéticos pueden generarse con una estricta fundamentación estadística (vía IPF) y validarse mediante una auditoría de múltiples capas, incluyendo estudios de acuerdo humano-modelo que tratan a los jueces de IA como instrumentos de triaje en lugar de reemplazos para el juicio humano.
• Transparencia: El lanzamiento incluye el pipeline de fundamentación completo, permitiendo a los usuarios regenerar el conjunto de datos o auditar el proceso de reconstrucción estadística.

El autor declara explícitamente las limitaciones: PAK representa personas sintéticas, no individuos reales; excluye a practicantes no registrados o informales; y los campos narrativos están anclados semánticamente pero no son prosa humana pulida. El conjunto de datos está destinado a la evaluación controlada por anclajes, ejemplos de pocos disparos (few-shot) y estudios metodológicos, más que como un sustituto de encuestas empíricas o una herramienta para el perfilado de personas reales.