Structure for Reading, Prose for Writing: Asymmetric Structural Conditioning in Multi-Agent Document Authoring

En el mundo de la escritura automatizada, existe la creencia persistente de que la estructura es la clave definitiva para la claridad. Durante mucho tiempo, se ha enseñado a las computadoras a leer documentos con mayor precisión cuando estos están organizados con etiquetas y rótulos claros, en lugar de ser un muro de texto plano. Este principio se ha convertido en una regla estándar en el campo de la inteligencia artificial: si quieres que una máquina encuentre un hecho específico o siga una instrucción específica, darle un mapa estructurado de la información ayuda a que navegue los datos. Consecuentemente, muchos ingenieros han asumido que esta misma ventaja estructural se aplica cuando la máquina escribe. La lógica parecía sólida: si la estructura ayuda a una computadora a leer, también debería ayudar a una computadora a escribir.

Sin embargo, un nuevo estudio desafía esta suposición al observar una tarea muy específica y de alto riesgo: la redacción de respuestas formales a licitaciones gubernamentales. Estos son documentos complejos donde una empresa debe responder cientos de preguntas de un cliente, adhiriéndose a menudo a reglas de formato estrictas y utilizando la terminología exacta del cliente. Los investigadores construyeron un sistema de múltiples agentes de inteligencia artificial para gestionar este trabajo, separando las tareas de leer los requisitos, recopilar hechos y redactar las respuestas. Probaron este sistema contra propuestas escritas por humanos presentadas por la misma organización. Lo que descubrieron fue una división sorprendente en cómo aprende la máquina. Mientras que la estructura convierte a la máquina en una mejor lectora, en realidad la convierte en una peor escritora. El estudio sugiere que la mejor manera de guiar a una IA no es obligarla a seguir una plantilla rígida, sino dejar que lea datos estructurados y luego escriba en lenguaje natural, aplicando sus propios controles internos para asegurar la calidad.

Los investigadores comenzaron desplegando su sistema multiagente para redactar respuestas para solicitudes de adquisiciones reales. El sistema fue diseñado para ser cauteloso y preciso. No intentaba adivinar respuestas; en su lugar, dividía el trabajo en pasos pequeños. Primero, leyó los documentos del cliente y los convirtió en un formato estructurado que preservaba las relaciones entre preguntas e instrucciones. Luego, recopiló información de una biblioteca de documentos pasados y registros de la empresa. Finalmente, redactó las respuestas. Para ver qué tan bien desempeñaba su labor, el equipo comparó los borradores de la máquina contra una licitación real que la organización había escrito a mano para una licitación diferente. En esta comparación, la máquina no tenía un ejemplo para copiar; tuvo que confiar enteramente en su propio razonamiento y en los documentos proporcionados.

Un juez independiente, otra inteligencia artificial entrenada para evaluar la calidad de la escritura en lugar de solo qué tan similar se veía al original, revisó los resultados. Las respuestas de la máquina fueron calificadas como al menos tan buenas como las escritas por humanos en cuarenta de cincuenta y cinco secciones. En cuatro secciones, la máquina fue calificada como mejor. No omitió ninguna sección por completo. El único problema importante fue una única afirmación no sustentada, donde la máquina infirió una característica de seguridad que el texto no establecía explícitamente. Este resultado fue impresionante, especialmente considerando que la máquina no era un modelo de última generación y no tenía ejemplos previos de los cuales aprender.

Pero los investigadores no se detuvieron en la puntuación superficial. Profundizaron en las quince secciones donde la máquina tuvo un desempeño inferior al del escritor humano. Querían saber si la máquina falló porque escribió mal, o porque simplemente no tenía la información correcta. Descubrieron que en casi el setenta por ciento de estos casos, el "fallo" fue en realidad una falta de datos. El escritor humano conocía ciertos detalles por experiencia o conversaciones privadas que el sistema de la máquina nunca se le había proporcionado. Cuando los investigadores ajustaron la puntuación para ignorar estos hechos faltantes, el desempeño de la máquina saltó a casi el noventa por ciento. Esto reveló una visión crucial: la brecha entre la máquina y el humano no era principalmente sobre la capacidad de escribir, sino sobre el acceso a la información. La máquina era una escritora competente que a menudo estaba incapacitada por sesiones informativas incompletas.

El estudio luego se dirigió a un experimento más controlado para probar el papel de la estructura. El equipo tomó las instrucciones que la máquina recibió y las presentó de dos maneras diferentes. En una versión, las instrucciones estaban escritas como texto plano, como un memorando estándar. En la otra, las instrucciones fueron convertidas en un formato anidado y estructurado, similar a un archivo digital con etiquetas. Esperaban que la versión estructurada ayudara a la máquina a entender mejor la tarea, tal como ayudó con la lectura. En cambio, ocurrió lo contrario. Cuando las instrucciones fueron estructuradas, la calidad de las respuestas disminuyó significamente. La máquina produjo menos respuestas correctas y repitió las instrucciones en su propia escritura con más frecuencia, una señal de que estaba confundida.

Los investigadores se dieron cuenta de que la estructura cambia aquello a lo que la máquina presta atención. Cuando las instrucciones eran texto plano, la máquina se enfocaba en el significado de la solicitud. Cuando las instrucciones estaban estructuradas con etiquetas, la máquina se enfocaba en las etiquetas mismas. Comenzó a tratar el nombre del cliente o el título del documento como la parte más importante de la oración, lo que la llevó a comenzar sus respuestas con frases extrañas como "El cliente requiere..." en lugar de responder la pregunta directamente. Esto demostró que, si bien la estructura ayuda a una máquina a localizar información, puede distraer a una máquina cuando necesita generar contenido nuevo.

El equipo también investigó cómo la máquina maneja las reglas sobre qué no hacer. Encontraron que simplemente decirle a la máquina "no uses esta palabra" a menudo empeoraba el problema. La máquina se obsesionaba con la palabra prohibida y la incluía accidentalmente de todos modos, o la usaba de una manera que rompía las reglas. Sin embargo, cuando le dieron a la máquina una prueba para ejecutar en sus propias oraciones —pidiéndole que revisara si una oración era demasiado similar a la pregunta original y la reescribiera si era necesario— los errores desaparecieron. La máquina aprendió a vigilarse a sí misma sin que se le dijera exactamente qué evitar.

Finalmente, los investigadores notaron un fallo sutil pero peligroso en cómo el sistema manejaba sus propias notas. La máquina a veces añadía una pequeña marca a un documento para indicar un punto específico. Esta marca cambiaba ligeramente la longitud del texto. Debido a que la máquina procesaba el texto en fragmentos de tamaño fijo, este diminuto cambio en la longitud desplazaba los límites de los fragmentos. Como resultado, la máquina miraba un conjunto de palabras diferente al previsto, lo que conducía a un número completamente distinto de preguntas extraídas. Una diferencia de solo dos marcas en el texto causó que el sistema extrajera diecisiete preguntas menos. Esto demostró que incluso cambios minúsculos y aleatorios en cómo la máquina anota su trabajo podían derivar en errores masivos, simplemente porque el sistema era demasiado rígido en cómo segmentaba la información.

La imagen general que emerge es una de equilibrio cuidadoso. El estudio no afirma que la inteligencia artificial haya resuelto el problema de escribir documentos formales, ni sugiere que las máquinas estén listas para reemplazar a los escritores humanos por completo. En cambio, ofrece un mapa preciso de dónde la tecnología funciona y dónde tiene dificultades. La máquina es una herramienta poderosa para leer y organizar información, especialmente cuando esa información es estructurada. Pero cuando se trata de escribir, forzarla en una estructura rígida puede confundirla. El enfoque más efectivo es dejar que la máquina lea datos estructurados, pero permitirle escribir en lenguaje natural, utilizando autochequeos para asegurar que se mantenga en el camino correcto. Esta distinción entre leer y escribir no es solo un detalle técnico; es una regla fundamental para construir sistemas que puedan ser confiables en tareas importantes. Los investigadores encontraron que los mejores resultados no provienen de hacer que la máquina siga una plantilla perfecta, sino de darle la información correcta y dejar que aplique su propio juicio al borrador final.