💬 NLP

HoWToBench: Holistic Evaluation for LLM's Capability in Human-level Writing using Tree of Writing

El artículo presenta HoWToBench, una escala de evaluación en chino para la escritura de modelos de lenguaje, junto con Tree-of-Writing (ToW), un método jerárquico que supera las limitaciones de las métricas tradicionales y de los jueces basados en LLM al lograr una alta correlación con juicios humanos y mayor robustez ante perturbaciones textuales.

Autores originales: Andrew Zhuoer Feng, Cunxiang Wang, Yu Luo, Lin Fan, Yilin Zhou, Zikang Wang, Xiaotao Gu, Jie Tang, Hongning Wang, Minlie Huang

Publicado 2026-04-22

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Andrew Zhuoer Feng, Cunxiang Wang, Yu Luo, Lin Fan, Yilin Zhou, Zikang Wang, Xiaotao Gu, Jie Tang, Hongning Wang, Minlie Huang

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que quieres evaluar qué tan bien escribe una persona. Si le pides que complete un cuento que tú empezaste, es fácil ver si encaja. Pero si le pides que escriba un poema, una carta de amor o un ensayo sobre la vida desde cero, la cosa se complica. ¿Cómo sabes si es "bueno"? ¿Es solo cuestión de que no tenga faltas de ortografía, o hay algo más profundo?

Este paper (artículo científico) presenta una solución para evaluar a las Inteligencias Artificiales (como los modelos de lenguaje grandes o LLMs) cuando escriben textos complejos y creativos. Lo hacen con dos grandes herramientas: un banco de pruebas llamado HOWTOBENCH y un juez inteligente llamado Tree-of-Writing (ToW).

Aquí te lo explico con analogías sencillas:

1. El Problema: El Juez "Promedio" se Confunde

Antes, para ver si una IA escribía bien, se usaban dos métodos:

Comparar palabra por palabra: Como si un profesor corriera un examen comparando tu respuesta con la del libro. Si tu respuesta no era idéntica, te ponía mala nota, aunque tu idea fuera genial.
Pedirle a otra IA que juzgue: Se le pedía a una IA: "Lee esto y dale una nota". Pero aquí estaba el truco: la IA que juzgaba a veces se confundía. Le pedía una nota para la "gramática", otra para la "creatividad" y otra para la "lógica", y luego las sumaba o promediaba al azar. A veces, le daba más peso a la gramática y menos a la emoción, y otras veces hacía lo contrario, sin una regla clara. Esto se llama "Inconsistencia de Negociación". Era como tener un juez que cambia las reglas del juego a mitad de la partida.

2. La Solución: El Árbol de Escritura (Tree-of-Writing)

Los autores crearon un nuevo sistema llamado Tree-of-Writing (ToW). Imagina que evaluar un texto no es como sacar un promedio de notas, sino como construir un árbol.

La Raíz: Es la nota final del texto.
Las Ramas Principales: El texto se divide en tres grandes ramas: Contenido (¿de qué habla?), Formato (¿cómo se ve?) y Impresión (¿cómo se siente al leerlo?).
Las Hojas: Cada rama se divide en detalles más pequeños (como "lógica", "emoción", "títulos", "párrafos").

La Magia del Juez Negociador:
Lo genial de este sistema es que tiene un "jefe" (un LLM especial) que actúa como un arquitecto. Antes de empezar a juzgar, este arquitecto mira el tipo de texto que le toca evaluar:

Si es un poema, le dice al sistema: "¡Ojo! La emoción y el ritmo son muy importantes, así que les damos un 40% de la nota. La gramática estricta es menos importante, solo un 10%".
Si es un contrato legal, le dice: "¡Ojo! La lógica y el formato son vitales. La emoción no importa nada, casi cero".

Esto evita que el juez promedie todo al azar. Es como si un entrenador de fútbol dijera: "Hoy jugamos contra un equipo rápido, así que nos enfocamos en la defensa" en lugar de decir "hoy jugamos igual que siempre".

3. El Banco de Pruebas: HOWTOBENCH

Para probar si su nuevo juez funciona, crearon un gimnasio gigante llamado HOWTOBENCH.

No es un examen de rellenar huecos: La mayoría de las pruebas anteriores eran como "completa la frase". Aquí, le dan a la IA un tema (ej: "Escribe un cuento sobre un robot que tiene miedo a la lluvia") y la IA tiene que crear todo desde cero.
Variedad: Tienen 12 tipos de textos diferentes: desde poemas y novelas hasta contratos y discursos.
Referencias Humanas: Tienen textos escritos por humanos expertos (escritores reales) para comparar. Es como tener la "respuesta correcta" hecha por un maestro, pero sabiendo que la IA puede tener su propia versión creativa.

4. Los Descubrimientos Sorprendentes

Al probar sus modelos, descubrieron cosas interesantes:

Más texto no es mejor: A veces, las IAs creen que si escriben mucho y repiten cosas, la nota sube. Pero el nuevo sistema les dijo: "No, si escribes mucho pero no dices nada nuevo, la nota baja".
La IA es frágil: Si le das a la IA un texto con errores o repeticiones extrañas, los métodos antiguos (como los promedios simples) a veces no se daban cuenta y seguían dando buenas notas. El nuevo sistema (ToW) es como un detective: nota el error, lo penaliza y la nota baja, tal como lo haría un humano.
No todo es copiar: Las IAs son muy buenas siguiendo instrucciones estrictas (como "escribe una lista de 5 cosas"), pero se les hace muy difícil escribir cosas creativas y profundas cuando no tienen muchas pistas.

En Resumen

Este paper dice: "Dejen de evaluar a las IAs como si fueran calculadoras que solo suman palabras". Para saber si una IA escribe como un humano, necesitamos un sistema que entienda que un poema se juzga de forma diferente a un contrato.

Su sistema, Tree-of-Writing, actúa como un juez experto que adapta sus criterios a cada situación, logrando una precisión del 93% en comparación con lo que pensarían los humanos. Es un paso gigante para que las IAs no solo "hablen" bien, sino que realmente "escriban" con alma y sentido.

1. El Problema

La evaluación de las capacidades de escritura de los Modelos de Lenguaje Grande (LLM) en escenarios abiertos y de gran longitud (miles de palabras) sigue siendo un desafío significativo debido a dos factores principales:

Limitaciones de las métricas existentes: Las métricas tradicionales basadas en referencia (como BLEU o ROUGE) y los métodos modernos de "LLM como juez" (LLM-as-a-judge) son insuficientes. Las primeras fallan en capturar la calidad semántica y estilística, mientras que las segundas sufren de inconsistencias al agregar sub-puntuaciones.
Inconsistencia en la Negociación (Negotiation Inconsistency): Cuando un LLM actúa como juez, tiende a promediar sub-puntuaciones (fluidez, coherencia, seguimiento de instrucciones) de manera implícita y opaca. Esto genera sesgos y resultados no reproducibles, ya que el modelo "negocia" internamente los pesos de cada criterio sin un plan estructurado, lo que lleva a evaluaciones poco fiables y carentes de transparencia.
Enfoque limitado: La mayoría de los benchmarks actuales tratan la escritura como un juego de "imitación" (cumplimiento estricto de instrucciones explícitas), ignorando la capacidad de crear textos complejos, matizados y creativos donde las intenciones son implícitas.

2. Metodología

El artículo propone dos componentes principales: un nuevo marco de evaluación (ToW) y un nuevo benchmark (HOWTOBENCH).

A. Tree-of-Writing (ToW): Marco de Evaluación

ToW simula el proceso de toma de decisiones humano mediante una estructura de árbol jerárquico para resolver la inconsistencia en la agregación de puntuaciones.

Estructura del Árbol: La evaluación se modela como un árbol donde la puntuación final es la raíz ( $R$ $R$ ). Se ramifica en tres nodos primarios: Contenido ( $V_C$ $V_{C}$ ), Formato ( $V_F$ $V_{F}$ ) e Impresión ( $V_I$ $V_{I}$ ).
- Los nodos de Contenido y Formato tienen nodos hoja adicionales (ej. Lógica, Retórica, Estructura de Párrafos).
- La Impresión es un nodo hoja que captura la calidad subjetiva holística.
Negociador (Negotiator): Un LLM actúa como "negociador" que, basándose en la instrucción de escritura, el género y el tipo de tarea, diseña explícitamente un plan de agregación. Este plan asigna pesos de borde ( $w$ ) específicos a cada nodo hoja, determinando la importancia relativa de cada criterio para esa tarea específica.
Ejecución:
1. Se activan agentes expertos (LLMs) para puntuar cada nodo hoja individualmente (1-10) utilizando rúbricas detalladas.
2. Se calculan las puntuaciones de los nodos padres mediante una suma ponderada basada en los pesos definidos por el negociador.
3. Se obtiene la puntuación final mediante la agregación de los tres nodos primarios.
Ventaja: Al explícitar los pesos de agregación, ToW elimina la opacidad y la inestabilidad de los métodos de "juez único" que promedian arbitrariamente.

B. HOWTOBENCH: El Benchmark

Es un conjunto de datos a gran escala diseñado para evaluar la escritura a nivel humano en chino.

Escala: 1302 instrucciones de escritura cubriendo 12 géneros (ficción, poesía, prosa, ensayos, informes, cartas, discursos, etc.).
Tres Niveles de Dificultad (Progresión):
1. Completación (Completion): El modelo debe rellenar partes faltantes de un texto humano existente (contexto rico).
2. Escritura Guiada (Guide): El modelo debe expandir un esquema o resumen proporcionado (contexto medio).
3. Escritura Abierta (Open): El modelo debe generar un texto coherente desde cero con solo un tema y género (contexto mínimo).
Calidad: Las referencias ("Ground Truth") son textos escritos por humanos expertos, filtrados rigurosamente para asegurar alta calidad y ausencia de contenido generado por IA.

3. Contribuciones Clave

Propuesta de ToW: Un marco de evaluación estructurado en árbol que mitiga el sesgo de negociación y logra una correlación muy alta con juicios humanos (0.93 de Pearson).
Lanzamiento de HOWTOBENCH: El primer benchmark que evalúa la escritura humana a nivel profesional más allá del simple seguimiento de instrucciones, abarcando géneros creativos y funcionales con tres niveles de dificultad progresiva.
Descubrimientos Empíricos:
- Correlación Negativa Longitud-Calidad: Se descubrió que, en tareas guiadas y abiertas, existe una correlación negativa entre la longitud de la entrada/salida y la puntuación de calidad. Esto demuestra que "más largo" no significa "mejor" y que los LLMs no pueden simplemente apilar información de entrada para mejorar la calidad del contenido.
- Robustez: ToW es robusto ante perturbaciones textuales (repetición, eliminación de párrafos, cambio de género), mientras que métricas como BLEU y los métodos de "LLM-as-a-judge" estándar son vulnerables a estos cambios.
- Sensibilidad al Género: Los modelos varían drásticamente según el género; destacan en formatos estructurados (cartas) pero fallan en géneros creativos complejos (ficción).

4. Resultados

Alineación Humana: ToW alcanzó una correlación de Pearson de 0.93 con las puntuaciones humanas en el ranking de modelos, superando significativamente a métricas tradicionales (BLEU, ROUGE) y a otros métodos de LLM-as-a-judge (como Auto-Planning o Rúbricas Elaboradas).
Evaluación de Modelos: Se evaluaron 10 LLMs líderes (GPT-4o, Claude-3.5, Gemini-2.0, DeepSeek-R1, etc.).
- Los modelos de razonamiento avanzado (como DeepSeek-R1 y o3-mini) mostraron un rendimiento superior general.
- Se observó una caída drástica en el rendimiento de los modelos a medida que disminuía el contexto de entrada (de Completación a Abierto), evidenciando la dificultad de la generación creativa sin guías fuertes.
Análisis de Robustez: En pruebas de perturbación, ToW mantuvo la consistencia en la puntuación (reduciendo la puntuación ante errores lógicos o estructurales), mientras que otras métricas mostraron fluctuaciones inestables o incluso puntuaciones erróneas (ej. BLEU-rt).

5. Significancia e Impacto

Este trabajo es fundamental porque:

Cambia el Paradigma de Evaluación: Pasa de una evaluación basada en la coincidencia de tokens o instrucciones simples a una evaluación holística y estructurada que entiende la jerarquía de la calidad literaria (lógica, emoción, formato, impresión).
Resuelve la Opacidad: La metodología "Tree-of-Writing" hace que el proceso de evaluación sea reproducible y explicable, solucionando el problema de la "caja negra" en la evaluación automática de textos largos.
Establece un Nuevo Estándar: HOWTOBENCH proporciona una base sólida para medir el progreso real de los LLMs hacia la escritura humana profesional, identificando que la capacidad de imitar instrucciones no equivale a la capacidad de crear narrativa compleja.
Implicaciones Futuras: Sugiere que para mejorar la escritura de los LLMs, no basta con aumentar el contexto de entrada; se requiere un mejor entendimiento de la estructura, la lógica y la adaptación al género, áreas donde los modelos actuales aún tienen deficiencias significativas.

En resumen, el artículo presenta una solución técnica robusta para un problema crítico en la IA generativa: cómo evaluar objetivamente la creatividad y la calidad de la escritura humana, demostrando que la estructura explícita en la evaluación es clave para la fiabilidad.