Factuality on Demand: Controlling the Factuality-Informativeness Trade-off in Text Generation

Resumen Técnico: Generación Controlada por la Veracidad (FCG)

1. Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) poseen conocimiento interno con diversos grados de fiabilidad, lo que crea un compromiso inherente entre la veracidad (precisión) y la informatividad (detalle). En dominios de alto riesgo (p. ej., médicos, legales), los usuarios requieren salidas conservadoras y altamente veraces, mientras que las tareas creativas o de lluvia de ideas suelen priorizar un contenido rico a pesar de los riesgos potenciales de veracidad.

Los LLMs de frontera actuales carecen de un mecanismo integrado para controlar este compromiso. Aunque los usuarios pueden intentar guiar el comportamiento mediante prompts (p. ej., "sé más veraz"), los hallazgos empíricos muestran que estos modelos no ajustan sus salidas de manera fiable para cumplir con objetivos de veracidad específicos. Los benchmarks de evaluación existentes, como FactScore, revelan que los modelos estándar a menudo fallan al intentar satisfacer incluso restricciones de veracidad moderadas o estrictas, lo que hace necesario una alternativa controlable que permita a los usuarios especificar un nivel de veracidad deseado.

2. Metodología: Generación Controlada por la Veracidad (FCG)

Los autores proponen la Generación Controlada por la Veracidad (FCG), un marco en el que un LLM toma una consulta y una restricción de veracidad numérica $c \in [0, 1]$ como entrada, generando una respuesta donde la proporción de afirmaciones factuales respaldadas cumple o excede $c$, maximizando al mismo tiempo la informatividad.

A. Pipeline de Generación de Datos Sintéticos
Dado que no existe un conjunto de datos etiquetados para tríos de (pregunta, restricción de veracidad, respuesta de oro), los autores introducen un pipeline sintético guiado por la confianza para construir los datos de entrenamiento:

1. Generación Inicial: Un modelo base genera una respuesta detallada y sin restricciones ($r_0$) para una pregunta dada.
2. Segmentación de Hechos: La respuesta se segmenta en afirmaciones factuales atómicas.
3. Calificación de Confianza: Se le pide al modelo que evalúe la confianza de cada hecho atómico (p. ej., "¿Es esto Verdadero o Falso?"), derivando una puntuación de probabilidad.
4. Poda Iterativa: Los hechos se clasifican por confianza. Para cumplir con una restricción objetivo $c$, el sistema elimina progresivamente los hechos de menor confianza hasta que el subconjunto restante satisface el umbral de veracidad.
5. Reconstrucción: Los hechos restantes de alta confianza se fusionan nuevamente en una respuesta fluida, preservando la redacción original siempre que sea posible.
   Este proceso se repite a través de un rango de valores de $c$ (p. ej., de 0.1 a 1.0) para crear conjuntos de respuestas alineadas para el ajuste fino supervisado.

B. Entrenamiento e Inferencia
Los autores realizan el ajuste fino de un modelo Mistral-7B utilizando los tríos sintéticos de $(pregunta, c, respuesta)$. Durante la inferencia, el modelo se condiciona al nivel de veracidad especificado por el usuario $c$, lo que le permite ajustar dinámicamente su salida para cumplir con la restricción sin requerir filtrado iterativo o reordenamiento post-hoc.

C. Métricas de Evaluación
El rendimiento se evalúa en dos ejes utilizando FactScore:

• Adherencia a la Veracidad: La proporción de generaciones donde la puntuación de veracidad $f(o) \ge c$.
• Informatividad: El número de afirmaciones atómicas validadas en la salida, normalizado por longitud.

3. Contribuciones Clave

• Definición de la Tarea: Introducción de la FCG como una tarea de generación controlada que condiciona las salidas de los LLM a un umbral de veracidad especificado por el usuario.
• Marco de Entrenamiento Sintético: Desarrollo de un nuevo pipeline para generar datos de entrenamiento mediante la poda sistemática de hechos de baja confianza de las generaciones sin restricciones, permitiendo el aprendizaje supervisado del compromiso entre veracidad e informatividad.
• Validación Empírica: Demostración de que el ajuste fino sobre estos datos sintéticos supera significativamente a las líneas base basadas en prompting para adherirse a las restricciones de veracidad.

4. Resultados

Los experimentos se realizaron en una tarea de generación de biografías utilizando 500 entidades (450 de entrenamiento, 50 de validación, 183 de prueba).

• Adherencia a la Veracidad:

  • Líneas Base de Prompting: El prompting estándar (Inferencia Controlada por la Veracidad, FCI) no logró mejorar la adherencia; en algunos casos (p. ej., $c=0.9$), la adherencia disminuyó en comparación con la línea base sin restricciones (3.8% frente a 5.5%).
  • Entrenamiento FCG: El modelo con ajuste fino mostró mejoras sustanciales. La adherencia aumentó un 17.2% en $c=0.8$ y un 130.0% en $c=0.9$ en relación con la línea base.
  • Restricciones Estrictas: En el nivel más estricto ($c=1.0$, que requiere que toda la información sea correcta), los métodos de la línea base e FCI lograron un 0% de adherencia, mientras que el modelo FCG alcanzó un 23.6%.

• Compromiso Veracidad–Informatividad:

  • El modelo FCG desplaza la frontera de compromiso hacia afuera. Para cualquier nivel de veracidad dado, FCG produce respuestas con mayor informatividad (más hechos respaldados) que las líneas base.
  • Notablemente, en $c=1.0$, el modelo FCG proporcionó respuestas completas y totalmente veraces, mientras que la línea base de inferencia tuvo que eliminar efectivamente todo el contenido para evitar alucinaciones, resultando en una informatividad de cero.

5. Significado y Reivindicaciones

El artículo afirma que la FCG proporciona un mecanismo fiable para que los usuarios personalicen el equilibrio entre veracidad e informatividad de las salidas de los LLM según las necesidades específicas de la aplicación. Al interiorizar el compromiso mediante el entrenamiento supervisado con datos sintéticos, el modelo aprende a "eliminar los detalles de menor certeza pero mantener todo lo demás" cuando se solicita una alta veracidad.

Los autores posicionan este trabajo como un paso hacia LLMs más fiables y flexibles, particularmente para tareas intensivas en conocimiento. Enfatizan que su método mejora la controlabilidad sin la sobrecarga computacional del filtrado post-hoc o el muestreo de rechazo utilizado en otros marcos.

Limitaciones Reconocidas:

• El estudio se limita actualmente al inglés y a las tareas de generación de biografías.
• Los experimentos se realizaron en un modelo de tamaño medio (Mistral-7B); la escalabilidad a arquitecturas de vanguardia más grandes sigue sin probarse.
• La aplicabilidad de su marco a otros idiomas y tareas generativas complejas (p. ej., comprensión multimodal) requiere mayor investigación.