Resumen Técnico: Alineación del Comportamiento de los Grandes Modelos de Lenguaje con las Preferencias de Citación Humanas

Declaración del Problema

Si bien los Grandes Modelos de Lenguaje (LLM) incorporan cada vez más citas para mejorar la verificabilidad de sus resultados, los mecanismos que gobiernan qué contenido amerita una cita permanecen insuficientemente explorados. La investigación actual se centra en gran medida en qué documentos enlazar (por ejemplo, mediante RAG), pero no se ha prestado suficiente atención a la decisión de cuándo citar basándose en el contenido del texto. Un desequilibrio en la frecuencia de citación —ya sea demasiadas pocas o demasiadas— puede erosionar la confianza del usuario, reducir la satisfacción y perjudicar la precisión en la toma de decisiones. Este estudio aborda la brecha crítica de entender si los LLM se alinean inherentemente con las preferencias humanas respecto a la necesidad de citación y si estos comportamientos pueden ser controlados.

Metodología

Construcción del Conjunto de Datos

Los autores construyeron un conjunto de datos especializado para caracterizar la relación entre las preferencias de citación humanas y el comportamiento de los LLM:

• Fuente: 6,000 oraciones extraídas del conjunto de datos WikiSQE, derivado de Wikipedia.
• Categorización: Las oraciones fueron etiquetadas con etiquetas de calidad y reagrupadas en ocho categorías de motivación de citación:
  1. Información Faltante (Quién, Cuándo, Cuál, Dónde)
  2. Sic (Errores textuales)
  3. Duda (Afirmaciones dudosas)
  4. Vago (Redacción ambigua)
  5. POV (Declaraciones no neutrales/sesgadas)
  6. Contenido Médico (Afirmaciones de salud sin fuente)
  7. Jerga (Términos excesivamente técnicos)
  8. Poco Claro (Difícil de entender)
• Estrategia de Anotación: El estudio utilizó comparaciones por pares. Para cada combinación de las ocho categorías (28 pares), los anotadores se les presentó dos oraciones y se les pidió seleccionar cuál de ellas requería una cita. Esto resultó en 2,596 pares de comparación de alta calidad tras el control de calidad.
• Participantes: 402 anotadores humanos proporcionaron las preferencias de verdad fundamental (ground-truth).

Evaluación del Modelo

El estudio evaluó 11 LLM (incluyendo modelos de código abierto como Llama, Mistral y DeepSeek, y modelos cerrados como GPT-5, Claude y Gemini) sobre el conjunto de datos construido. La evaluación midió la tasa de acuerdo entre la elección de citación del modelo y la preferencia humana para cada par de oraciones.

Alineación mediante Entrenamiento

Para investigar si el comportamiento de citación podía corregirse, los autores aplicaron la Optimización de Preferencia Directa (DPO) utilizando los datos anotados por humanos. Entrenaron mediante ajuste fino (fine-tuning) a cinco modelos objetivo (Llama 1B, 3B, 70B, Mistral Small y Mistral Large) usando LoRA para alinear sus decisiones de citación con las preferencias humanas.

Resultados Clave

1. Alineación Limitada en Modelos Actuales

Los LLM actuales exhiben solo una débil alineación con las preferencias de citación humanas, con tasas de acuerdo promedio que se estancan en los sesenta bajos (por ejemplo, DeepSeek en 62.7%, Llama 70B en 61.6%). Se observó un claro efecto de escala de parámetros, donde los modelos más grandes generalmente funcionaron mejor, aunque incluso los modelos más grandes no lograron alcanzar niveles altos de acuerdo.

2. Divergencias Sistemáticas

El análisis reveló divergencias específicas y sistemáticas en el comportamiento de los modelos en comparación con los humanos:

• Sobre-selección de Etiquetas de "Cita Necesaria": Los modelos son significativamente más propensos a citar oraciones marcadas explícitamente con "Cita necesaria" en Wikipedia que los humanos. Los modelos cerrados mostraron hasta un 27.4% más de tasas de selección para estas oraciones en comparación con los humanos, lo que sugiere una fuerte impronta de los datos de entrenamiento en lugar de una comprensión genuina de la necesidad de citar.
• Sub-selección de Oraciones Numéricas: Los modelos subseleccionan sistemáticamente oraciones que contienen números (expresiones cuantitativas), con tasas hasta un 22.6% menores que las preferencias humanas. Los humanos suelen exigir citas para estadísticas, pero los modelos a menudo no reconocen esta necesidad.
• Sub-selección de Nombres Propios: Del mismo modo, los modelos subseleccionan oraciones que contienen nombres propios hasta en un 20.1% en relación con los humanos, a pesar de la alta sensibilidad fáctica requerida para el contenido biográfico.
• Consenso en Contenido Médico: Tanto humanos como modelos priorizan consistentemente las citas para el contenido médico, mostrando las tasas de acuerdo más altas en todas las categorías.

3. Efectividad de DPO

El entrenamiento de los modelos vía DPO con los datos anotados por humanos mejoró con éxito la alineación:

• Ganancias de Rendimiento: El enfoque produjo una mejora promedio del 5.76% en el acuerdo con las preferencias humanas.
• Impacto Específico por Modelo: Los modelos más pequeños se beneficiaron más, con Llama 1B mostrando una mejora del 11.8%. Sin embargo, modelos más grandes como Llama 70B experimentaron un ligero descenso (-1.6%), lo que sugiere que las estrategias de alineación pueden necesitar ser adaptadas según la escala del modelo.
• Mitigación de Sesgos: El DPO demostró la capacidad de atenuar la influencia de los sesgos de los datos de entrenamiento (como la dependencia excesiva de las plantillas de "Cita necesaria"), acercando el comportamiento del modelo al juicio humano.

Contribuciones Clave

1. Primer Estudio sobre la Necesidad de Citación: Este trabajo presenta la primera investigación centrada específicamente en la necesidad de citas dentro del texto, examinando las preferencias tanto de humanos como de LLM.
2. Conjunto de Datos Especializado: La construcción de un conjunto de datos de 6,000 oraciones con etiquetas de preferencia de citación humana a través de ocho distintas categorías de contenido.
3. Análisis de la Influencia de los Datos de Entrenamiento: El estudio demuestra que el comportamiento de citación de los LLM está fuertemente influenciado por patrones de los datos de entrenamiento (por ejemplo, plantillas de Wikipedia), lo que genera divergencias con las preferencias humanas.
4. Demostración de la Eficacia de DPO: El artículo muestra que la Optimización de Preferencia Directa puede calibrar eficazmente el comportamiento del modelo para que coincida mejor con las preferencias de citación humanas, ofreciendo un mecanismo para controlar la frecuencia y el tipo de citación.

Significado e Implicaciones

El artículo argumenta que el comportamiento de citación no debe asumirse como algo que surge naturalmente del preentrenamiento, sino que debe ser entrenado y evaluado explícitamente. Los hallazgos sugieren que:

• El Entrenamiento Explícito es Necesario: Depender únicamente del preentrenamiento es insuficiente para lograr la alineación de la necesidad de citar.
• Despliegue Controlado: Los futuros sistemas de IA deberían considerar el enrutamiento consciente de categorías (por ejemplo, aumentar los disparadores para oraciones numéricas y de nombres propios) y el control de frecuencia para equilibrar la verificabilidad con la experiencia del usuario.
• Optimización de Pipelines de Agentes: Dado que muchos sistemas modernos permiten que los LLM gobiernen implícitamente las decisiones de búsqueda y citación, mejorar la alineación de la necesidad de citar a nivel de modelo puede mejorar directamente la fiabilidad de los pipelines de agentes de IA.

Los autores concluyen que, si bien los modelos actuales muestran potencial, queda mucho trabajo por hacer para alinearlos con las expectativas humanas, particularmente en el manejo de tipos de contenido específicos como números y nombres, y que el entrenamiento basado en preferencias ofrece un camino viable hacia adelante.