What Models Know, How Well They Know It: Knowledge-Weighted Fine-Tuning for Learning When to Say "I Don't Know"

1. El Problema: Desalineación de Conocimiento y Alucinaciones

Los Grandes Modelos de Lenguaje (LLMs) sufren de alucinaciones, a menudo generadas cuando hay una desalineación de conocimiento entre el conocimiento paramétrico adquirido durante el pre-entrenamiento y los datos utilizados en el ajuste fino supervisado (SFT).

• Causa Raíz: Cuando los conjuntos de datos de ajuste fino contienen información que el modelo no "conocía" (o conocía muy poco) durante el pre-entrenamiento, el modelo se ve obligado a generar tokens etiquetados incluso para hechos que no domina.
• Consecuencia: En lugar de reconocer la ausencia de conocimiento, el modelo genera respuestas confiables pero incorrectas. Los métodos actuales de ajuste fino tienden a tratar todos los datos de entrenamiento por igual, ignorando el grado de certeza del modelo sobre un hecho específico.
• Limitaciones de enfoques previos: Métodos anteriores como R-Tuning tratan el conocimiento como binario (conocido/desconocido), mientras que otros como SEAL o IDK-Tuning imponen decisiones a nivel de token que crean un compromiso inherente entre la precisión y la capacidad de negarse a responder.

2. Metodología: Ajuste Fino Ponderado por Conocimiento (KWT)

Los autores proponen KWT (Knowledge-Weighted Fine-Tuning), un enfoque que estima el conocimiento del modelo a nivel de instancia (por pregunta) y ajusta la señal de aprendizaje en consecuencia.

A. Estimación de Conocimiento (Knowledge Estimation)

En lugar de una clasificación binaria, KWT calcula una puntuación de conocimiento granular para cada instancia de entrenamiento:

1. Inferencia Muestreada Multi-vez: Se realiza una inferencia con few-shot prompting (3 ejemplos) sobre los datos de entrenamiento. Se repite el proceso $S=5$ veces con demostraciones re-muestreadas para obtener múltiples respuestas.
2. Evaluación de Corrección: Las respuestas generadas se comparan con la respuesta de oro (gold response) utilizando tres métricas:
   • Exact Match (EM).
   • ROUGE-L F1.
   • LLM-as-a-judge: Un modelo LLM evalúa la corrección semántica. Los experimentos mostraron que LLM-as-a-judge tiene la mayor concordancia con la evaluación humana.
3. Cálculo del Score: La puntuación de conocimiento ($KS$) es el promedio de la corrección de las respuestas muestreadas. Un $KS$ bajo indica que el modelo no tiene conocimiento fiable sobre ese hecho.

B. Estrategia de Ponderación (Weighting Strategy)

Durante el ajuste fino, la pérdida de cada muestra se modula según su puntuación de conocimiento:

• Estrategia Familiaridad (F - Default): Se asigna un peso mayor a las muestras que el modelo ya conoce bien ($w_i = \frac{S \cdot KS_i + 1}{S + 1}$). Esto refuerza el conocimiento existente.
• Estrategia de Rechazo (): Para muestras con puntuación de conocimiento cero (desconocidas), se añade un token especial <IDK> ("I Don't Know") al final de la respuesta objetivo. Esto entrena al modelo para expresar incertidumbre explícita en lugar de alucinar.
• Fórmula de Pérdida: La pérdida total pondera cada instancia según su peso $w_i$, permitiendo que el modelo aprenda más de lo que ya sabe y aprenda a abstenerse de lo que no sabe.

3. Contribuciones Clave

1. Estimación de Conocimiento Granular: Demostraron que estimar cuánto sabe el modelo por instancia (en lugar de solo si sabe o no) es crucial para reducir alucinaciones. Utilizan inferencia muestreada y métricas de coincidencia avanzadas para esto.
2. Estrategia de Ponderación Dependiente del Conocimiento: Probaron que cómo se utiliza esta puntuación durante el entrenamiento es vital. La estrategia de "Familiaridad" (dar más peso a lo conocido) superó a estrategias que intentan forzar el aprendizaje de lo desconocido (Reverse-Familiarity) o el uso uniforme.
3. Nuevas Métricas de Evaluación: Introdujeron métricas específicas para medir la expresión de incertidumbre:
   • nAUPC (Normalized Area Under the Product Curve): Unifica la precisión consciente de la incertidumbre (abstención correcta) y la precisión consciente de la certeza (no abstenerse incorrectamente).
   • A-FPR (Abstain False Positive Rate): Mide la tasa de abstenciones innecesarias en respuestas correctas.
   • IDK Precision: Mide la frecuencia con la que una respuesta <IDK> está justificada (es decir, corresponde a una respuesta incorrecta).

4. Resultados Experimentales

Los experimentos se realizaron en modelos como Llama 3.2-3B y Qwen 2.5-3B sobre conjuntos de datos diversos (HaluEval, MedQA, SciQ) y fuera de dominio (RefuNQ, SelfAware).

• Rendimiento en Dominio (In-Domain):
  • KWT (usando LLM-as-a-judge) logró el mejor nAUPC, indicando un equilibrio superior entre precisión y abstención.
  • Redujo significativamente la A-FPR (menos abstenciones innecesarias) y aumentó la IDK Precision (más abstenciones justificadas) en comparación con R-Tuning y SFT estándar.
  • Mantuvo una precisión estándar comparable al SFT, demostrando que la expresión de incertidumbre no degrada drásticamente la capacidad de respuesta en preguntas resolubles.
• Generalización (Out-of-Domain):
  • KWT mostró una mejor capacidad para distinguir y expresar incertidumbre en preguntas fuera de la distribución de entrenamiento, superando a los métodos baselines.
• Comparación con SEAL:
  • A diferencia de SEAL (que reasigna probabilidad a nivel de token y fuerza $A=0$), KWT preserva la distribución predictiva del modelo base (menor divergencia KL) y ofrece una interpretación más rica de la incertidumbre sin sacrificar la precisión general.
• Impacto del Token <IDK>:
  • Un estudio de ablación mostró que la ligera caída en la precisión estándar se debe principalmente a la supervisión del token <IDK>, no a la estrategia de ponderación. La ponderación por familiaridad por sí sola mejora la precisión al filtrar ejemplos conflictivos.

5. Significado y Conclusión

El trabajo presenta un avance significativo en la mitigación de alucinaciones al abordar la desalineación de conocimiento en lugar de solo tratar los síntomas.

• Enfoque Pragmático: Al entrenar al modelo para que reconozca sus propios límites basándose en su conocimiento paramétrico previo, KWT permite una interacción más confiable.
• Equilibrio: Logra un equilibrio óptimo entre responder con confianza cuando se tiene conocimiento y decir "No lo sé" cuando no se tiene, evitando tanto la alucinación como la abstención excesiva.
• Limitaciones: El método requiere un costo computacional adicional debido a la necesidad de múltiples inferencias por instancia para estimar el conocimiento, aunque esto es compartido por otros enfoques basados en consistencia.

En resumen, KWT ofrece un marco simple pero generalizable para alinear el ajuste fino con el conocimiento real del modelo, mejorando la fiabilidad de los LLMs en escenarios de pregunta-respuesta abierta.