Mapping the Course for Prompt-based Structured Prediction

1. El Problema

Los Grandes Modelos de Lenguaje (LLMs) han demostrado un rendimiento excepcional en diversas tareas de procesamiento del lenguaje natural (PLN) mediante el uso de prompts (instrucciones textuales) sin necesidad de ajuste fino (fine-tuning). Sin embargo, presentan limitaciones críticas en tareas de predicción estructurada, donde el objetivo es predecir múltiples componentes interrelacionados que forman un objeto estructurado (como la resolución de coreferencia o el enmarcado moral).

Las principales deficiencias son:

• Inconsistencia estructural: Los LLMs generan tokens de forma autoregresiva, lo que a menudo viola las restricciones lógicas o estructurales del problema (ej. transividad en coreferencia o roles morales coherentes).
• Alucinaciones y razonamiento complejo: Tienden a cometer errores en tareas que requieren razonamiento profundo.
• Dificultad para estimar confianza: A diferencia de los clasificadores tradicionales entrenados, los LLMs no aprenden una distribución condicional específica para la tarea, lo que hace difícil derivar puntuaciones de confianza fiables para alimentar algoritmos de inferencia simbólica.

2. Metodología

Los autores proponen un marco híbrido que combina la potencia predictiva de los LLMs con la consistencia estructural de la inferencia combinatoria (basada en Programación Lineal Entera - ILP).

A. Marco General

El problema se modela como un grafo de factores basado en LLMs. Cada decisión local (subestructura) se puntúa mediante un LLM, y luego se utiliza la inferencia para encontrar la estructura global óptima que maximiza la suma de puntuaciones bajo un conjunto de restricciones (Ecuación 1).

B. Estrategias de Puntuación (Extracción de Confianza)

El núcleo de la investigación es determinar cómo convertir las salidas de texto de un LLM en puntuaciones de probabilidad/confianza para la inferencia. Se evalúan exhaustivamente métodos de "caja blanca" y "caja negra":

1. Métodos de Caja Blanca (requieren acceso a probabilidades de tokens):
   • Predicción Verdadero/Falso: Reformular la tarea como una pregunta de sí/no y usar la probabilidad del token "True".
   • Elección Múltiple: Formular la tarea como preguntas de opción múltiple y usar la probabilidad de la opción correcta.
   • Clasificación Generativa: Invertir el prompt (dar la etiqueta como entrada y predecir el texto) para estimar la verosimilitud.
2. Métodos de Caja Negra (solo texto generado):
   • Muestreo de Generación: Usar la consistencia entre múltiples generaciones como proxy de confianza.
   • Confianza Verbalizada: Pedir al modelo que estime numéricamente su propia confianza (0-100).

C. Estrategias de Aprendizaje y Calibración

Para alinear mejor los LLMs con objetivos estructurados, se proponen tres enfoques de aprendizaje:

1. Calibración de Puntuaciones (Few-Shot): Entrenar una capa de regresión logística sobre las puntuaciones crudas del LLM. Puede ser Local (entrenar un modelo por subproblema) o Global (entrenar un modelo conjunto usando la pérdida hinge estructurada).
2. Ajuste Fino Local (Local Fine-tuning): Entrenar el LLM con pérdida estándar de predicción de siguiente token para cada componente local.
3. Ajuste Fino Global (Global Fine-tuning): Entrenar el LLM directamente minimizando la pérdida hinge estructurada (backpropagando la pérdida de inferencia global al modelo).

3. Contribuciones Clave

• Estudio Exhaustivo de Estrategias de Puntuación: Se evalúan y comparan sistemáticamente múltiples métodos para estimar la confianza en LLMs para inferencia estructurada.
• Validación de la Inferencia Simbólica: Demuestran que, independientemente de la estrategia de prompting utilizada, incorporar inferencia simbólica (restricciones) mejora consistentemente la precisión y la consistencia estructural.
• Nuevas Estrategias de Aprendizaje: Introducen y validan el Global Fine-tuning y la Calibración Global como métodos superiores para adaptar LLMs a tareas estructuradas, superando a los enfoques tradicionales de ajuste local.
• Análisis de Eficiencia: Evalúan el costo computacional, mostrando que la inferencia simbólica añade un costo marginal mínimo comparado con la generación.

4. Resultados Experimentales

Los experimentos se realizaron en dos tareas complejas: Enmarcado Moral (identificación de fundamentos morales y roles en tweets políticos) y Resolución de Coreferencia (datasets GENIA y OntoNotes).

• Mejora por Inferencia: En todas las configuraciones, la adición de restricciones (inferencia) redujo las violaciones estructurales a cero y mejoró las puntuaciones F1 (Micro y Macro).
• Mejor Estrategia de Prompting: La estrategia de Verdadero/Falso (True/False) demostró ser la más efectiva para estimar la confianza, superando a la elección múltiple y a los métodos de caja negra.
• Rendimiento del Aprendizaje:
  • El Ajuste Fino Global (Global Fine-tuning) logró el mejor rendimiento absoluto, superando a los modelos de estado del arte anteriores que usaban enfoques de aprendizaje profundo estructurados tradicionales.
  • La Calibración Global (sin ajustar los pesos del LLM, solo la capa logística) también mostró mejoras significativas, especialmente en modelos pre-entrenados.
  • El ajuste fino local por sí solo mejoró el rendimiento respecto a few-shot, pero la combinación con inferencia global fue superior.
• Robustez: Los resultados se mantuvieron consistentes al variar el tamaño del modelo (Llama-8B, Llama-70B, GPT-5) y la cantidad de datos de entrenamiento. Incluso con muy pocos datos (1%), los métodos con ajuste fino y restricciones convergieron rápidamente.

5. Significado e Impacto

Este trabajo es fundamental porque:

1. Legitima el uso de LLMs en tareas estructuradas: Demuestra que los LLMs no solo pueden generar texto, sino que, cuando se combinan con inferencia simbólica, pueden resolver problemas de razonamiento estructurado con alta precisión y consistencia.
2. Define un nuevo estándar de evaluación: Proporciona un marco claro para evaluar cómo extraer y calibrar la confianza en LLMs, un paso crítico para su integración en sistemas de decisión críticos.
3. Valor del Aprendizaje Estructurado: Confirma que, en la era de los LLMs, los objetivos de aprendizaje estructurados (como la pérdida hinge global) siguen siendo valiosos y necesarios para superar las limitaciones de la generación autoregresiva pura.
4. Eficiencia: Muestra que es posible obtener ganancias significativas en rendimiento sin un costo computacional prohibitivo, ya que la inferencia simbólica es rápida en comparación con la generación de texto.

En conclusión, el artículo traza un camino claro para integrar LLMs en sistemas de predicción estructurada, sugiriendo que la combinación de prompts inteligentes (especialmente formato Verdadero/Falso), inferencia simbólica y objetivos de aprendizaje global es la ruta más prometedora para tareas de razonamiento complejo.