Resumen Técnico: Verificación de Hechos Latente mediante Ingeniería de Activación

Planteamiento del Problema

La proliferación de la desinformación requiere sistemas de detección escalables. Aunque los Modelos de Lenguaje de Gran Escala (LLMs) sobresalen en fluidez, a menudo generan afirmaciones plausibles pero fácticamente incorrectas ("falsedades imitativas"). Los enfoques tradicionales de Verificación Automática de Hechos (AFC) dependen de características lingüísticas superficiales, ajuste fino (fine-tuning) o recuperación de evidencia externa. Sin embargo, estos métodos enfrentan limitaciones: el ajuste fino requiere una cantidad sustancial de datos etiquetados y generaliza pobremente; los sistemas basados en recuperación son computacionalmente costosos y sensibles a la calidad de la evidencia; y las estrategias de prompting sufren de inestabilidad y alucinaciones.

Además, existe una "brecha de generación-discriminación" donde los modelos pueden poseer conocimiento latente que distingue la verdad de la falsedad, pero no logran expresarlo en sus salidas por defecto. Este artículo postula que la veracidad no es meramente una propiedad del texto generado, sino un concepto estructurado y linealmente separable dentro del espacio de representación latente de los modelos transformer, ofreciendo un camino alternativo para la detección sin modificar los pesos del modelo.

Metodología

El marco propuesto, Latent Fact-Checking (LaFaCt), utiliza la ingeniería de activación para detectar la desinformación explotando las propiedades geométricas del flujo residual de un modelo. El enfoque no requiere el ajuste fino del modelo base ni la recuperación de evidencia externa.

1. Construcción de Prompts Contrastivos

Para cada afirmación de entrenamiento $s_i$, los autores construyen un par de prompts estructurados para anclar la completitud del modelo a polaridades de veracidad específicas:

• $p^+_i$: Ancla la respuesta a "Verdadero" (ej., "Respuesta: (A)").
• $p^-_i$: Ancla la respuesta a "Falso" (ej., "Respuesta: (B)").
  El mapeo entre las letras (A/B) y los valores de verdad se randomiza para evitar que el modelo asocie la desinformación con un token fijo.

2. Estimación de la Dirección de la Falsedad

Siguiendo el principio de Adición de Activación Contrastiva (CAA), el método calcula la diferencia media entre los estados ocultos eliciados por los prompts verídicos y falsos. Para una capa $\ell$, el vector de dirección de la falsedad $v^{(\ell)}$ se define como:
$$v^{(\ell)} = \frac{1}{N} \sum_{i=1}^{N} h^{(\ell)+}_i - \frac{1}{N} \sum_{i=1}^{N} h^{(\ell)-}_i$$
donde $h^{(\ell)\pm}_i$ representa la activación del último token del respectivo prompt. Este vector estima el eje en el flujo residual que separa la verdad de la falsedad.

3. Proyección de Vectores y Clasificación

A diferencia de la CAA, que inyecta este vector para dirigir la generación, este método lo utiliza como un eje de referencia fijo para la clasificación:

1. Proyección: La activación del último token de la afirmación pura (sin la plantilla A/B) se proyecta sobre la dirección normalizada $\hat{v}^{(\ell)}$.
2. Selección de Capa: Se entrena un clasificador MLP sobre estas proyecciones para cada capa $\ell$. La capa óptima $\ell^*$ se selecciona basándose en la precisión de validación.
3. Modelo Final: La dirección se recalcula utilizando el conjunto de entrenamiento completo (entrenamiento + validación), y se entrena un MLP final sobre las activaciones proyectadas en la capa $\ell^*$.

4. Inferencia

En la inferencia, se pasa una nueva afirmación a través del modelo congelado. Su activación del último token en la capa seleccionada $\ell^*$ se proyecta sobre la dirección de falsedad aprendida y se introduce en el MLP para predecir la veracidad.

Contribuciones Clave

1. Vectores de Dirección para el Juicio Fáctico: Los autores investigan y validan la existencia de vectores de dirección (steering vectors) lineales derivados de conjuntos de datos de verificación de hechos que codifican direcciones de falsedad.
2. Análisis de Transferencia entre Datasets: El estudio analiza la transferibilidad de las direcciones aprendidas a través de diferentes conjuntos de datos (AVeriTeC, LIAR, FACTors), revelando que los conjuntos de datos dependientes de evidencia generan direcciones menos portátiles en comparación con los conjuntos de datos de solo afirmación.
3. Ablación por Capas: El trabajo identifica capas específicas del transformer que son más discriminativas para el juicio de veracidad, demostrando que las capas de detección óptimas varían según la arquitectura y la escala del modelo.

Resultados Experimentales

El método fue evaluado en 11 modelos (familias Gemma, Llama, Qwen) que van desde 270M hasta 12B de parámetros en tres benchmarks: AVeriTeC, LIAR y FACTors.

• Rendimiento en LIAR y FACTors: El enfoque latente superó consistentemente a las líneas base de prompting zero-shot y few-shot en casi todas las configuraciones de modelos.
  • Modelos Pequeños: Las mejoras fueron más significativas para los modelos más pequeños (ej., Gemma-3-1B mejoró de 0.52 a 0.75 de precisión en LIAR; Llama-3.2-1B de 0.46 a 0.73).
  • Robustez: El método superó al prompting de pocos ejemplos (few-shot) incluso cuando este último proporcionaba ejemplos explícitos de etiquetas, lo que sugiere que la señal latente es más rica que la generación superficial.
• Rendimiento en AVeriTeC: Los resultados fueron más limitados, con el método desempeñándose de manera comparable o ligeramente inferior a las líneas base para modelos grandes.
  • Atribución: Los autores atribuyen esto al esquema de etiquetado basado en evidencia de AVeriTeC. Las afirmaciones en este conjunto de datos están etiquetadas basándose en evidencia web externa y razonamiento de múltiples saltos (multi-hop), lo cual no puede capturarse únicamente con el texto de la afirmación. El método, al operar exclusivamente con la representación interna de la afirmación, no puede acceder a los hechos externos requeridos para refutar la afirmación.
• Escalabilidad y Transferencia:
  • Tamaño de la Muestra: Aumentar el número de pares contrastivos ($N$) mejoró el rendimiento en LIAR y FACTors, pero no tuvo efecto en AVeriTeC, confirmando que la heterogeneidad del dataset (diversidad de temas y dependencia de evidencia) dificulta la convergencia de una única dirección de falsedad global.
  • Fuera de Distribución (OOD): Las direcciones entrenadas en LIAR o FACTors se generalizaron bien entre sí. Las direcciones entrenadas en AVeriTeC mostraron una degradación significativa al aplicarse a otros datasets, reforzando la inestabilidad de las direcciones dependientes de evidencia.

Significancia y Reivindicaciones

El artículo afirma proporcionar evidencia de que la veracidad es un concepto estructurado y linealmente separable en el espacio latente de los modelos de lenguaje preentrenados. La significancia de este trabajo radica en:

1. Complementariedad Práctica: Ofrece una alternativa ligera, sin necesidad de ajuste fino, para la detección de desinformación que puede servir como una señal complementaria para los pipelines basados en recuperación.
2. Eficiencia: El enfoque es particularmente efectivo para Modelos de Lenguaje Pequeños (SLMs), donde compensa su capacidad limitada, haciéndolo viable en entornos donde la inferencia a gran escala no es factible.
3. Verdad Interna vs. Externa: Los resultados apoyan la hipótesis de que los LLMs codifican señales de veracidad internamente que suelen ser más discriminativas de lo que se expresa mediante la generación, sorteando efectivamente la brecha de generación-discriminación.

Los autores mantienen una postura modesta, reconociendo que su método no es un reemplazo para la verificación basada en evidencia, sino una herramienta práctica para la evaluación a nivel de afirmación cuando la señal de veracidad es inherente al texto mismo. Se sugiere como trabajo futuro la integración de representaciones de documentos recuperados para abordar las limitaciones observadas en los benchmarks dependientes de evidencia como AVeriTeC.