Large-Scale Portfolio Optimization Problem Under Cardinality Constraint With Enhanced Multi-Objective Evolutionary Algorithms

想象一下你是一名正在为长途旅行打造终极背包的寻宝者。你想要两样东西：最值钱的金币（高回报）和最轻、最安全的负重（低风险）。但有一个限制条件：你的背包有一个严格的规则。无论地图上散落着多少种宝藏，你只能携带特定数量的不同物品，比如 3 到 10 个，这就是“基数约束组合优化”（Cardinality-Constrained Portfolio Optimization）问题。

几十年来，投资者一直试图使用“精确”的数学方法来解决这个问题，比如试图通过数清沙滩上每一粒沙子的数量来找到完美的一把沙子。该论文解释说，这种方法就像是在用消防水柱喝水；速度太慢，且在资产（沙粒）数量变得巨大时会陷入停滞。事实上，作者指出，加入这些现实世界的规则使这个问题变成了计算机的噩梦，即所谓的“NP-hard”（非确定性多项式困难），传统的数学工具在面对它时会束手无策或耗时过久。

核心理念：一种新的背包设计
与其尝试数清每一粒沙子，不如构建一种新型的背包并制定一套新的打包规则。作者采用了一种名为 NSGA-II 的流行工具（可以将其想象成一个智能的、不断进化的机器人，尝试不同的背包组合），并对其进行了重大升级。

以下是他们的新系统是如何运作的，使用了他们自己的类比和机制：

1. “固定尺寸”背包（新编码）
旧方法试图携带所有可能的宝藏清单，并仅仅标记哪些要带走。如果你有 225 种宝藏，即使你只带 10 个，你的清单长度始终是 225。这导致机器人在检查空位时浪费时间。
作者改变了背包本身。现在，你的背包拥有恰好 Kmax 个槽位（即你允许携带物品的最大数量）。如果你被允许携带最多 5 件物品，那么你的背包就恰好有 5 个槽位。

• 诀窍： 如果你在两个槽位中放入了相同的宝藏，它仍算作一件物品，但重量（金钱）会累加。这使得机器人更容易判断是否违反了规则。如果背包中的唯一物品少于 Kmin 个（例如，当你需要至少 3 个独特物品时却只有 2 个），机器人就知道它需要换入一个新的宝藏。

2. “两阶段”狩猎（交配策略）
机器人不会只是随机猜测。它分两个截然不同的阶段进行狩猎，就像侦探破案一样：

• 第一阶段（广撒网）： 在开始阶段，机器人的行为是“狂野”的。它使用一种“基于拐点”（Knee-based）的策略来寻找最佳的宝藏组合。它寻找曲线的“拐点”——即用最少的额外重量换取最多黄金的那个甜点位。它让那些接近这一理想点的解进行交配，从而快速找到资产的最佳组合。
• 第二阶段（精细调整）： 一旦拥有了一份好的宝藏清单，它就会停止寻找新物品，转而开始调整每个宝藏的量。它使用一种“基于相似性”（Similarity-based）的策略，让那些拥有相同宝藏但权重不同的背包进行交配，从而对精确的平衡进行微调。

3. “探索者”工具
有时，机器人修复一个损坏的背包（例如物品过多或过少的背包）时，只是简单地随机换入一个物品。但作者意识到这种做法很笨拙。他们发明了一个名为**“探索者”（Explorer）**的新工具。
想象一下，你的背包缺少一件物品。与其随手抓起第一块石头，不如让“探索者”观察几种不同的填补缺口的方法。它尝试五种不同的“启发式”（heuristic）方法（比如平均分配资金，或者将更多资金分配给最安全的物品），以观察哪种方式能让背包变得更好。然后，它选择最好的版本，甚至会在旧背包与新背包之间的“未知”空间中向前迈进一小步，看看是否能找到更好的方案。这确保了修复不仅仅是“还可以”，而是真正的“改进”。

4. “修理队”（处理约束）
当机器人不小心违反规则时（例如挑选了太多物品或在单件物品中投入了过多资金），它不会直接扔掉背包。它拥有一支专门的修理队：

• 关联小组（Association Crew）： 观察当前群体中其他成功的背包里装了什么，并复制那些模式。
• 评分小组（Score Crew）： 将宝藏按其协同表现进行分组，并挑选出表现最好的那一组。
• 阈值小组（Threshold Crew）： 专门寻找那些与其他物品运动不同步（低相关性）的宝藏，以增加多样性。

研究结果
作者在四个真实市场中测试了这一新系统：DAX 100（德国）、S&P 100（美国）、日经 225（日本）以及德黑兰证券交易所（TSE）。

• 测试规模： 他们使用的资产数据集分别为 85、98、225 和 418 个。
• 规则： 他们将背包设定为持有 Kmin 到 Kmax 之间的物品数量（例如，在 2 到 10 之间，或恰好 10 个）。
• 结果： 在运行 100 次迭代、种群规模为 100 的模拟中，他们升级后的机器人一致地找到了更好的背包。
  • 它找到了更接近“完美”理论极限的解（通过指标 IGD 衡量）。
  • 它覆盖了更广泛的优质选项（通过 Hypervolume 衡量）。
  • 它做得更快、更可靠，尤其是在资产数量变大时。

他们明确排除的内容
论文非常清楚哪些方法在处理此类问题时效果不佳：

• 精确方法（Exact Methods）： 他们认为传统的精确数学方法在处理此类问题时效率低下，因为该问题是 NP-hard 的。他们认为对于大型市场，这些方法过于缓慢。
• 惩罚函数（Penalty Functions）： 虽然一些研究人员使用“惩罚函数”（即给损坏的背包一个差评），但本文明确指出，绝大多数成功的研究使用的是修复机制（修复背包）而非惩罚。他们选择了修复方案而非仅仅惩罚方案。
• 随机猜测： 他们展示了在早期阶段仅仅进行随机解的交配会浪费时间。他们的“基于拐点”的选择对于引导搜索过程是必要的。

他们有多确定？
作者对他们的结果充满信心，但在措辞上也非常谨慎。他们表示，基于 100 次 模拟运行，他们的方法“表明”并“证明”了优越性。他们使用了统计检验（符号检验/Sign Test 和 威尔科克森符号秩检验/Wilcoxon Signed-Rank Test）来证明他们的结果并非偶然。

• 例如，在 TSE 市场中，针对 Hypervolume 指标，他们的方法在 10 次测试中赢得了 10 次。
• 然而，他们也指出，对于 DAX 100 市场，其中一个特定指标（MGD）的提升在最严格的水平下并不具备统计学上的显著性，尽管其平均表现仍然更好。

总结
论文表明，通过改变问题的表达方式（固定尺寸背包）、改变搜索方案（两阶段狩猎）以及改进错误修复方式（探索者工具），我们可以更快地找到更好的投资组合。这在市场资产达到数百个时尤为明显。作者总结道，虽然他们的方法是一个强有力的改进，但它并不是万灵药；如果投资者未来想要加入更复杂的规则（如交易成本），该方法仍需进行调整。但就目前而言，这是一种更聪明的“打包”方式。