Conversational Control with Ontologies for Large Language Models: A Lightweight Framework for Constrained Generation

Resumen Técnico: Control Conversacional con Ontologías para Modelos de Lenguaje Grandes

1. Planteamiento del Problema

Los agentes conversacionales basados en Modelos de Lenguaje Grandes (LLMs) han demostrado capacidades generativas impresionantes, pero su naturaleza de "caja negra" presenta desafíos críticos:

• Falta de predictibilidad: Es difícil garantizar que las salidas cumplan con objetivos específicos o restricciones de dominio.
• Falta de personalización: Los modelos preentrenados no se adaptan automáticamente a perfiles de usuario específicos (como el nivel de competencia lingüística o el estado emocional).
• Costo y dependencia del modelo: Las soluciones existentes para la generación restringida suelen ser costosas computacionalmente o dependen fuertemente de arquitecturas específicas, dificultando su reutilización.
• Dificultad con restricciones complejas: Los LLMs luchan por satisfacer consistentemente restricciones multidimensionales o complejas durante una conversación.

El objetivo es desarrollar un marco ligero, agnóstico al modelo y explicable que permita controlar la generación de contenido mediante definiciones ontológicas, sin alterar la arquitectura subyacente del modelo.

2. Metodología Propuesta

Los autores proponen un enfoque de extremo a extremo que integra conocimiento estructurado (ontologías) con el ajuste fino (fine-tuning) de LLMs. El proceso se divide en tres etapas principales:

A. Definición de Descriptores y Estrategia (Ontología)

• Se identifican aspectos conversacionales clave y se modelan mediante descriptores dentro de una ontología formal (creada en Protégé).
• Descriptores: Caracterizan las propiedades de los enunciados (ej. nivel de dificultad, carga emocional, polaridad).
• Estrategia: Define la evolución dinámica de los valores de los descriptores durante la conversación. La ontología permite un razonamiento lógico para inferir la clase del siguiente enunciado a generar basándose en el contexto actual.

B. Ajuste Fino con Generación Restringida (Fine-Tuning)

• Se utiliza un procedimiento de Ajuste Fino de Modelado de Lenguaje Causal (CLM).
• Etiquetado de Datos: Los enunciados de entrenamiento se envuelven con etiquetas que indican su clase ontológica (ej. [o.C : Ci] enunciado [o.C : Ci]).
  • Etiquetas previas: Guían la generación.
  • Etiquetas posteriores: Aseguran la alineación y el control hacia la etiqueta actual.
• Eficiencia: Se emplea LoRA (Low-Rank Adaptation) para ajustar los modelos, reduciendo drásticamente el número de parámetros entrenables y permitiendo la adaptación en recursos limitados.
• Modelos: Se probaron siete LLMs de código abierto (Llama 3, Qwen, Phi, Mistral, DeepSeek-R1).

C. Evaluación

• Se evalúa la capacidad del modelo para generar contenido que cumpla con la instrucción de la etiqueta (generación zero-shot).
• Se utiliza inferencia ontológica sobre el texto generado para verificar su clase real.
• Métricas: Precisión, F1-score, y métricas específicas por tarea (MAE para niveles de idioma, MCC para perfiles de polaridad).

3. Casos de Uso (Use-Cases)

Para validar el enfoque, se implementaron dos escenarios distintos:

1. Control del Nivel de Competencia (Proficiency-Level Control):

   • Objetivo: Adaptar el nivel de inglés del agente al nivel del usuario.
   • Ontología: Basada en el Marco Común Europeo de Referencia (CEFR: A1-C2).
   • Estrategia: "Solo más difícil" (harder-only). Si el usuario expresa un nivel, el agente debe mantenerse en ese nivel o superior, nunca simplificar.
   • Datos: Se utilizaron métricas lingüísticas (índices de legibilidad como FKGL, densidad de pronombres) para clasificar automáticamente los datos de entrenamiento.

2. Control del Perfil de Polaridad (Polarity Profile Control):

   • Objetivo: Gestionar la carga emocional y la polaridad (positiva/negativa/neutra) de las respuestas.
   • Ontología: Define clases combinadas de carga emocional (cargado/no cargado) y polaridad (+, -, 0).
   • Estrategia: Fomentar el debate crítico.
     • Si el usuario es positivo, el agente invierte la polaridad para debatir.
     • Si el usuario es negativo cargado, el agente responde con contenido negativo no cargado para apoyar el punto de vista sin ser tóxico.
     • Si el usuario es neutral, el agente responde con polaridad positiva o negativa según la carga emocional.

4. Resultados Clave

• Rendimiento Cuantitativo:

  • Los modelos ajustados con el método propuesto superaron consistentemente a las líneas base preentrenadas en ambos casos de uso.
  • Se observó una mejora significativa en la capacidad de generar todas las clases posibles (ej. todos los niveles CEFR), algo que los modelos base fallaban en hacer (sesgo hacia clases dominantes).
  • En la tarea de polaridad, modelos como DeepSeek-R1 y Qwen mostraron mejoras notables en el coeficiente de correlación de Matthews (MCC).
  • En la tarea de competencia, el ajuste fino mejoró la distinción de los índices de legibilidad (FKGL) entre niveles, separando claramente oraciones simples de complejas.

• Rendimiento Cualitativo:

  • Las respuestas generadas mostraron diferencias léxicas y estructurales claras según el nivel de competencia solicitado.
  • En el control de polaridad, el agente logró moderar opiniones extremas y presentar puntos de vista alternativos, aunque la generación de contenido "no cargado" (neutral) sigue siendo un desafío debido a la tendencia de los LLMs a la sycophancy (acatamiento al sentimiento del usuario).

• Eficiencia:

  • El uso de LoRA demostró ser una estrategia viable para adaptar modelos grandes sin requerir recursos computacionales masivos, manteniendo el marco ligero y reproducible.

5. Contribuciones Principales

1. Marco Híbrido Ontología-LLM: Una metodología novedosa que utiliza definiciones ontológicas para guiar el ajuste fino de LLMs, permitiendo un control de generación modular y explicable.
2. Estrategia de Etiquetado: Un enfoque de "envoltura de etiquetas" (label wrapping) que vincula tokens de conceptos ontológicos con sus contrapartes en el texto, facilitando el aprendizaje de restricciones jerárquicas y abstractas.
3. Validación Empírica: Demostración de que este enfoque funciona eficazmente en múltiples modelos de diferentes tamaños y arquitecturas, superando a las líneas base preentrenadas incluso en modelos pequeños.
4. Reproducibilidad: Publicación de código, datos y ontologías para fomentar la investigación en control conversacional.

6. Significado e Impacto

Este trabajo es significativo porque ofrece una solución práctica al problema de la alineación y el control en sistemas conversacionales.

• Interpretabilidad: Al basarse en ontologías, el comportamiento del agente es transparente y lógico, no una "caja negra".
• Escalabilidad: El marco es agnóstico al modelo, lo que significa que las estrategias de control definidas en la ontología pueden transferirse a nuevos modelos o dominios con un esfuerzo de ingeniería mínimo.
• Aplicabilidad: Es especialmente relevante para dominios sensibles como la atención al cliente, la salud y la educación, donde la predictibilidad y la adaptación al usuario son críticas.
• Futuro: Abre la puerta a estrategias conversacionales más complejas y dinámicas, superando las limitaciones de los enfoques puramente basados en prompts o en ajustes finos sin guía estructural.

En conclusión, el artículo demuestra que la integración de conocimiento estructurado (ontologías) con técnicas de ajuste fino ligeras (LoRA) es una vía efectiva para crear agentes conversacionales más seguros, personalizados y alineados con objetivos humanos específicos.