propella-1: Multi-Property Document Annotation for LLM Data Curation at Scale

Resumen Técnico: PROPELLA-1

1. El Problema

La curación de datos para el preentrenamiento de Modelos de Lenguaje Grandes (LLM) ha dependido predominantemente de puntuaciones de calidad escalar únicas (un solo número) generadas por clasificadores pequeños, un paradigma establecido por pipelines como FineWeb-Edu. Esta aproximación presenta dos limitaciones fundamentales:

• Confluencia de dimensiones: Un solo score mezcla múltiples dimensiones de calidad (ej. valor educativo, sesgo comercial, seguridad), lo que impide el filtrado flexible y carece de interpretabilidad. Un documento puede tener alto valor educativo pero contener sesgos comerciales o información obsoleta, lo cual un score único no distingue.
• Limitación lingüística: La mayoría de los sistemas de filtrado basados en modelos están diseñados solo para inglés. Las extensiones multilingües actuales siguen dependiendo de métricas de un solo score, ignorando las particularidades de la calidad en otros idiomas.

2. Metodología

Los autores introducen propella-1, una familia de LLMs multilingües pequeños diseñados para realizar anotación estructurada multi-propiedad en lugar de puntuaciones simples.

• Arquitectura del Modelo:

  • Se basan en la arquitectura Qwen-3 (decoder-only).
  • Existen tres variantes de tamaño: 0.6B, 1.7B y 4B parámetros.
  • Soportan 57 idiomas.
  • Utilizan un contexto nativo de hasta 64K tokens, permitiendo procesar documentos largos completos.
  • La salida es un objeto JSON estructurado que cumple con un esquema predefinido, eliminando la necesidad de entrenar clasificadores separados para cada propiedad.

• Marco de Anotación (18 Propiedades):
  En lugar de un score, el modelo evalúa 18 propiedades organizadas en 6 categorías:

  1. Contenido Central: Integridad, ratio de contenido, longitud.
  2. Clasificación: Descripción de una frase, tipo de contenido, sector empresarial, contenido técnico.
  3. Calidad y Valor: Calidad de escritura, densidad de información, valor educativo, indicadores de razonamiento.
  4. Audiencia y Propósito: Nivel de audiencia, sesgo comercial, sensibilidad temporal.
  5. Seguridad y Cumplimiento: Seguridad del contenido, presencia de PII (Información Personal Identificable).
  6. Relevancia Geográfica: Relevancia regional y por país.

• Entrenamiento y Datos:

  • Los modelos se fine-tunearon utilizando datos anotados por LLMs de vanguardia (como Gemini-3-Pro) siguiendo una rúbrica exhaustiva de ~8,000 palabras.
  • El conjunto de entrenamiento cubre 57 idiomas (35% inglés, resto europeo, árabe, asiático, etc.) y diversas fuentes (web, PDFs, datos sintéticos).
  • Se utilizó entrenamiento en fp8 mixed-precision para eficiencia.

3. Contribuciones Clave

1. Marco de Anotación Estructurado: Definición de 18 propiedades complementarias que permiten estrategias de filtrado composibles y flexibles (ej. seleccionar documentos con alto razonamiento, bajo sesgo comercial y sin PII simultáneamente).
2. Modelos Propella-1: Entrenamiento de modelos pequeños (hasta 4B) que alcanzan un alto acuerdo con modelos de frontera mucho más grandes, pero a una fracción del costo computacional.
3. Dataset Propella-Annotations: Liberación de un dataset masivo con más de 3 mil millones de anotaciones de documentos, cubriendo corpus principales como FineWeb-2, FinePDFs, HPLT 3.0, Nemotron-CC y German Commons.
4. Análisis de Datos: Demostración de que el enfoque multi-propiedad revela diferencias estructurales en los datos de entrenamiento que los enfoques de un solo score no pueden capturar.

4. Resultados

• Rendimiento de Anotación:
  • El modelo propella-1-4B logra un score global de 0.779 en acuerdo con el modelo de referencia (Gemini-3-Pro), superando a modelos de propósito general mucho más grandes (como Gemma-3-27B o Qwen-30B) y a modelos de vanguardia como Gemini-3-Flash.
  • Incluso el modelo más pequeño (0.6B) alcanza un score de 0.729, demostrando que modelos especializados pequeños pueden igualar la calidad de anotación de modelos gigantes.
• Eficiencia y Escalabilidad:
  • En una GPU H100 con precisión fp8, el modelo 4B procesa 27 documentos por segundo.
  • Se estima un costo de ~10.3 GPU-horas por millón de documentos.
  • Se logró escalar la anotación de ~500 millones de documentos en 3.5 horas utilizando 3,936 GPUs A100.
• Hallazgos Analíticos (Casos de Estudio):
  • Diferencias por Fuente: Se descubrió que corpus en el mismo idioma (ej. alemán) tienen perfiles de calidad radicalmente diferentes. FinePDFs tiene un 21.4% de contenido de "calidad excelente" frente a solo 2.4% en FineWeb-2.
  • Heterogeneidad Oculta: Los niveles de calidad de Nemotron-CC (basados en un solo score) ocultan problemas específicos; incluso la capa "alta" contiene documentos con alto sesgo comercial o integridad fragmentada.
  • Variación Lingüística: Un mismo pipeline de procesamiento genera distribuciones de calidad muy diferentes según el idioma, lo que sugiere la necesidad de umbrales de filtrado específicos por idioma.

5. Significado e Impacto

• Cambio de Paradigma: El trabajo marca una transición desde el filtrado de "caja negra" basado en un solo número hacia una curación de datos interpretable y multidimensional.
• Accesibilidad: Al liberar modelos pequeños y un dataset de 3 mil millones de anotaciones bajo licencias permisivas (Apache 2.0 y CC-BY-4.0), democratizan la investigación centrada en datos, permitiendo a cualquier investigador analizar y filtrar corpus masivos sin incurrir en costos de anotación.
• Gobernanza y Seguridad: La inclusión explícita de propiedades de seguridad y PII facilita la creación de conjuntos de datos más seguros y conformes con regulaciones.
• Optimización de Entrenamiento: Proporciona las herramientas para diseñar mezclas de datos (data mixtures) más inteligentes, seleccionando no solo por "calidad general", sino por características específicas como profundidad de razonamiento, valor educativo o relevancia geográfica, lo que podría llevar a modelos finales más eficientes y capaces.

En conclusión, propella-1 establece un nuevo estándar para la curación de datos a escala, demostrando que la anotación estructurada y multilingüe es técnicamente viable, económicamente eficiente y analíticamente superior a los métodos actuales de puntuación única.