Resumen Técnico: Abstracción Selectiva para la Generación de Textos de Formato Largo Fiable

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) son propensos a errores factuales, lo que erosiona la confianza del usuario y limita su adopción en dominios de alto riesgo como la salud o el derecho. Aunque existen mecanismos de estimación de incertidumbre para mitigar esto, los enfoques actuales dependen de una decisión binaria de "todo o nada": o el modelo genera una respuesta o se abstiene por completo. Este enfoque binario es excesivamente restrictivo para la generación de formato largo. Las respuestas largas suelen contener numerosos enunciados factuales con diversos niveles de incertidumbre; abstenerse de toda una generación debido a un solo detalle incierto descarta información valiosa. Por el contrario, generar el texto completo sin modificaciones conlleva el riesgo de incluir alucinaciones. El artículo identifica la necesidad crítica de un enfoque de grano fino que permita a los modelos intercambiar especificidad por fiabilidad sin descartar respuestas enteras.

Metodología: Abstracción Selectiva (SA)

Los autores introducen la Abstracción Selectiva (SA), un marco que permite a los LLMs reducir el detalle del contenido incierto en lugar de eliminarlo por completo. La idea central es reemplazar afirmaciones de baja confianza con abstracciones de mayor confianza y menor especificidad.

Formalización del Marco

La SA se formaliza a través de las lentes de la riesgo selectivo y la cobertura:

• Riesgo: Definido como la tasa de errores factuales (alucinaciones) en el texto generado.
• Cobertura: Definida como la fracción de información retenida respecto a la generación original.
• Compromiso (Trade-off): Al variar un umbral de confianza $\theta$, la SA induce una curva de compromiso donde umbrales más altos reducen el riesgo (al aumentar la abstracción) pero también reducen la cobertura (al eliminar la especificidad).

Abstracción Selectiva por Átomos

El artículo propone una instanciación específica llamada Abstracción Selectiva por Átomos, que opera al nivel de la afirmación mediante un proceso de cuatro etapas:

1. Generación: El LLM genera una respuesta inicial $T$ ante un prompt $p$.
2. Atomización: La respuesta se descompone en afirmaciones atómicas (átomos). Estos son enunciados cortos y autónomos, cada uno expresando un único hecho (p. ej., "Amelia Earhart nació en Atchison, Kansas").
3. Abstracción: Esta es la etapa de procesamiento central, que consta de tres pasos:
   • Elicitación de Confianza: El modelo asigna un puntaje de confianza a cada átomo.
   • Generación de Abstracción: Para los átomos con confianza por debajo de un umbral $\theta$, el modelo genera una secuencia de abstracciones cada vez más generales (p. ej., "Atchison, Kansas" $\to$ "Kansas" $\to$ "Midwestern US" $\to$ "US"). La secuencia termina con la abstención total ($\top$).
   • Selección: El modelo asigna puntajes de confianza a la secuencia de abstracción. Selecciona la abstracción más específica en la secuencia que satisfaga el umbral de confianza $\theta$. Si ninguna abstracción cumple con el umbral, se realiza la abstención del átomo.
4. Reconstrucción: Las abstracciones seleccionadas se reconstruyen en un texto coherente $T'$.

Pipeline de Evaluación

Para evaluar la SA, los autores desarrollaron un pipeline de extremo a extremo para la generación factual abierta:

• Medición de Riesgo: Utiliza un sistema de verificación de hechos basado en agentes que verifica las afirmaciones atómicas contra Wikipedia. Una afirmación se etiqueta como "respaldada" si se encuentra evidencia; de lo contrario, es "no respaldada". El riesgo se calcula como $1 - \text{exactitud}$.
• Medición de Cobertura: Utiliza una medida de teoría de la información. El contenido de información de una afirmación se cuantifica mediante la reducción de entropía que proporciona respecto al conjunto de entidades compatibles (p. ej., "nació en Londres" es más informativo que "nació en Europa" porque estrecha el conjunto de personas de manera más significativa). La cobertura es la relación de la información retenida en $T'$ respecto a la de $T$.
• Métricas: El rendimiento se resume mediante curvas de Riesgo-Cobertura (RC) y el Área Bajo la Curva de Riesgo-Cobertura (AURC). Un AURC más bajo indica un mejor compromiso.

Contribuciones Clave

1. Marco de Abstracción Selectiva: Un marco general para intercambiar especificidad por fiabilidad en la generación de texto de formato largo, formalizado mediante riesgo selectivo y cobertura.
2. Instanciación por Átomos: Un procedimiento a nivel de afirmación que reemplaza selectivamente afirmaciones inciertas con abstracciones de mayor confianza en lugar de eliminarlas.
3. Pipeline de Evaluación: Un novedoso pipeline de extremo a extremo para la generación abierta que instancia el riesgo mediante la corrección factual y la cobertura mediante una medida información-teórica de contenido retenido.
4. Validación Empírica: Demostraciones a través de seis modelos de código abierto y dos benchmarks (FactScore y LongFact-Objects) que muestran mejoras consistentes sobre las líneas base.
5. Algoritmo de Selección de Umbral: Un algoritmo guiado por el riesgo basado en la predicción de conformidad dividida (split conformal prediction) para seleccionar umbrales de confianza que cumplan con los riesgos objetivo definidos por el usuario con alta probabilidad.

Resultados

Los autores evaluaron el método en seis modelos de código abierto (incluyendo GPT-OSS, Qwen3 y Llama 3.3) utilizando los benchmarks FactScore y LongFact-Objects.

• Rendimiento frente a Líneas Base: La SA por átomos superó consistentemente a las líneas base existentes, incluyendo la Redacción Selectiva (eliminar átomos inciertos por completo), la Abstracción en Línea (generar con una granularidad más gruesa desde el inicio) y la Autorrevisión (reescritura post-hoc).
• Mejoras en AURC: La SA por átomos mejoró el AURC hasta en un 27.73% respecto a la eliminación de afirmaciones (Redacción) en el benchmark FactScore. Las mejoras promedio fueron de 17.43% en FactScore y 13.77% en LongFact.
• Compromiso Riesgo-Cobertura: El método logró una curva de compromiso más suave, dominando a las líneas base en todo el rango de cobertura. En niveles de cobertura equivalentes, la SA por átomos logró un riesgo significativamente menor (brecha promedio de ~10 puntos porcentuales) comparado con las líneas base de Abstracción en Línea y Autorrevisión.
• Selección de Umbral: El algoritmo propuesto seleccionó con éxito umbrales que mantuvieron el riesgo empírico cerca de los riesgos objetivo definidos por el usuario en diferentes modelos y conjuntos de datos.

Significado y Reivindicaciones

El artículo argumenta que la fiabilidad en la generación de formato largo no es una elección binaria entre responder y abstenerse, sino un espectro de especificidad versus corrección. La importancia de este trabajo radica en demostrar que reducir la especificidad puede aumentar la exactitud y la fiabilidad mientras se preserva la mayor parte del significado original.

Al operar al nivel de afirmaciones individuales, el método propuesto evita la pérdida abrupta de información asociada con la eliminación de oraciones o afirmaciones completas. En su lugar, proporciona un control dirigido y específico por afirmación sobre la incertidumbre. Los autores posicionan la Abstracción Selectiva como un paso hacia paradigmas de generación que razonan explícitamente sobre la cantidad apropiada de detalle en una respuesta, sugiriendo que en entornos de alto riesgo, las respuestas menos específicas son preferibles a los errores con alta confianza.

El artículo mantiene la modestia respecto a direcciones futuras, señalando que la calidad de la abstracción depende fuertemente de la función de puntuación de confianza (se encontró que la confianza verbalizada era superior a las puntuaciones basadas en log-probs) y que modelar las dependencias entre afirmaciones (en lugar de tratarlas como independientes) podría mejorar aún más los resultados.