Resumen Técnico: Moldeando Capacidades mediante el Filtrado de Datos a Nivel de Token

Planteamiento del Problema

Los enfoques actuales para reducir las capacidades no deseadas en los modelos de lenguaje de gran tamaño (LLM) son mayoritariamente post hoc, dependiendo de intervenciones tras el preentrenamiento (por ejemplo, RLHF, desaprendizaje de máquinas o clasificadores de entrada-salida). El artículo argumenta que estos métodos son fácilmente vulnerables por parte de adversarios mediante jailbreaking o ajuste fino (finetuning) adversarial, porque no eliminan las capacidades subyacentes de las representaciones del modelo base. Si bien el moldeado de capacidades durante el preentrenamiento mediante la selección de datos es una alternativa prometedora, la literatura existente se ha centrado principalmente en el filtrado grueso a nivel de documento. Los autores postulan que esta granularidad es subóptima: los modelos pueden aprender capacidades peligrosas a partir de subsecuencias cortas de tokens dentro de documentos que, de otro modo, serían benignos, lo que conduce ya sea a la eliminación excesiva de datos útiles (baja precisión) o a la retención de conocimiento dañino (bajo recall).

Metodología

El artículo propone el filtrado de datos a nivel de token como una intervención más precisa durante el preentrenamiento. La metodología consta de cuatro etapas principales:

1. Etiquetado mediante Autoencoders Dispersos (SAEs): Para generar etiquetas de nivel de token de verdad absoluta (ground-truth) sin una costosa anotación manual, los autores utilizan autoencoders dispersos entrenados en un modelo de 9B de parámetros (Gemma 2). Identifican los latentes de los SAE correspondientes al dominio de "olvido" (conocimiento médico) y utilizan un LLM más fuerte (Claude Sonnet 4) para clasificar estas descripciones de latentes. Los tokens se etiquetan como "médicos" si exhiben una activación alta en estos latentes médicos específicos. Este proceso crea un conjunto de datos débilmente supervisado de etiquetas a nivel de token.
2. Entrenamiento del Clasificador: Los autores entrenan modelos de lenguaje bidireccionales (biLM) específicos para la tarea que actúan como clasificadores a nivel de token. Demuestran que modelos pequeños y específicos de dominio (por ejemplo, de 224M de parámetros) entrenados en corpus relevantes superan a modelos más grandes y de propósito general (por ejemplo, ModernBERT-large) para esta tarea de clasificación específica.
3. Estrategias de Filtrado: Se implementan dos estrategias de filtrado a nivel de token durante el preentrenamiento:
   • Enmascaramiento de Pérdida (Loss Masking): El modelo ve los tokens de "olvido" durante la pasada hacia adelante (forward pass), pero los gradientes se enmascaran (se ponen a cero) durante la pasada hacia atrás (backward pass) para esos tokens.
   • Eliminación (Removal): Los tokens de "olvido" son reemplazados por un token especial <|hidden|> y su pérdida es enmascarada.
4. Experimentos de Escalamiento: Los autores entrenan modelos Transformer que van desde 61M hasta 1.8B de parámetros en el conjunto de datos FineWeb-Edu, aplicando las estrategias de filtrado. Evalúan el rendimiento en dominios de "olvido" (capacidades médicas) y dominios de "retención" (biología, STEM general) utilizando perplejidad de texto, preguntas de opción múltiple (MedMCQA, MedQA-USMLE) y generación de respuesta libre.

Contribuciones Clave y Resultados

1. El Filtrado de Token Domina en Pareto al Filtrado de Documento

El artículo demuestra que el filtrado a nivel de token logra una mejora de Pareto sobre el filtrado a nivel de documento. Al filtrar a nivel de token, los autores logran la misma reducción en las "capacidades de olvido" (conocimiento médico) con una degradación significativamente menor en las "capacidades de retención" (biología). El filtrado a nivel de documento suele descartar grandes cantidades de datos benignos para capturar pequeñas secuencias de tokens dañinos, mientras que el filtrado de token preserva el contexto de los datos benignos mientras elimina los tokens dañinos específicos.

2. La Eficacia Escala con el Tamaño del Modelo

Un hallazgo central es que la eficacia del filtrado de datos aumenta con la escala del modelo.

• Ralentización de Cómputo: Para los modelos más grandes (1.8B de parámetros), el filtrado de tokens provoca una ralentización de cómputo de 7,000× en el dominio de "olvido" en comparación con un modelo de referencia entrenado con datos sin filtrar. Esto significa que un adversario necesitaría 7,000 veces más cómputo para reaprender las capacidades médicas filtradas mediante ajuste fino adversarial en comparación con un modelo entrenado con datos sin filtrar.
• Leyes de Escalamiento: La brecha de rendimiento entre los modelos filtrados y los no filtrados se amplía a medida que aumenta el cómputo de preentrenamiento. El filtrado de tokens resulta en exponentes de escala de menor magnitud en el dominio de olvido, lo que indica que los modelos más grandes son efectivamente más "moldeados" por el filtrado.

3. Robustez ante Ataques Adversariales

El filtrado de tokens es significativamente más robusto al ajuste fino adversarial que los métodos de vanguardia de desaprendizaje de máquinas (específicamente RMU).

• Mientras que el rendimiento de RMU se degrada rápidamente con la escala (requiriendo menos tokens adversariales para reaprender capacidades), el filtrado de datos se vuelve relativamente más robusto a medida que los modelos escalan.
• Para modelos de 1.8B, RMU requiere 13× menos tokens que la eliminación de tokens para alcanzar la paridad con el modelo de referencia, lo que destaca la superior resistencia a la manipulación del filtrado de preentrenamiento.

4. Alineación y Generalización de la Negativa (Refusal)

Contrario a las preocupaciones de que eliminar el conocimiento podría dificultar la capacidad del modelo para rechazar consultas peligrosas, los autores encuentran que los modelos filtrados por tokens generalizan mejor al entrenamiento de negativa que los modelos de referencia sin filtrar.

• Los modelos entrenados con eliminación de tokens generan negativas para consultas médicas a una tasa 2× mayor que el modelo de referencia, manteniendo un comportamiento normal en consultas no médicas.
• Los autores hipotetizan que esto se debe a que el modelo aprende a distinguir entre tokens "entrenados" y "no entrenados", una tarea más simple que clasificar la toxicidad, lo que permite una alineación efectiva incluso sin el conocimiento peligroso subyante.

5. Robustez al Ruido de Etiquetas

El artículo investiga el impacto de las etiquetas imperfectas.

• Generalización de Débil a Fuerte: Los clasificadores a nivel de token pueden generalizar a partir de etiquetas débiles o gruesas (por ejemplo, etiquetas a nivel de oración o de documento) para producir filtros efectivos a nivel de token. Los clasificadores a nivel de documento, por el contrario, fallan al generalizar desde etiquetas débiles.
• El Escalamiento Mitiga el Ruido: Incluso con etiquetas ruidosas, escalar el tamaño del modelo y ajustar el umbral de clasificación (priorizando el recall sobre la precisión) permite que el filtrado siga siendo efectivo.

Significado y Reivindicaciones

El artículo afirma que el filtrado de datos a nivel de token es un método rentable, robusto y escalable para moldear las capacidades del modelo durante el preentrenamiento. Su importancia principal radica en:

• Seguridad Preventiva: Aborda el juego del "gato y el ratón" de las salvaguardas post hoc al eliminar las capacidades en la fuente (preentrenamiento) en lugar de intentar extraerlas después.
• Eficiencia: Logra una alta precisión en la eliminación de capacidades específicas sin la pérdida masiva de datos asociada con el filtrado a nivel de documento.
• Escalabilidad: El método se vuelve más efectivo a medida que los modelos crecen, lo que sugiere que es una estrategia viable a largo plazo para los modelos de frontera.
• Compatibilidad con la Alineación: Demuestra que eliminar conocimiento peligroso no necesariamente compromete la capacidad de un modelo para ser alineado o para rechazar solicitudes dañinas; en algunos casos, puede mejorar la generalización de la alineación.

Los autores concluyen que, si bien el filtrado de preentrenamiento es un "instrumento tosco" en comparación con la eliminación ideal basada en la influencia, es actualmente la intervención más efectiva y robusta disponible para prevenir que los modelos de frontera adquieran capacidades no deseadas, particularmente cuando se combina con un enfoque de defensa en profundidad que incluya salvaguardas de post-entrenamiento.